SQL Client客戶端 在開啟SQL client客戶端時需要指定sql_lib; 可以在conf/sql-client-defaults.yaml中配置默認(rèn)的catal...
發(fā)簡信
IP屬地：上海
-
Flink容錯機(jī)制-Checkpoints和Savepoints
一、Checkpoints的算法原理 Checkpoints是flink自動存儲快照 1. Barrier(checkpoint分割線) 二、Savepoints（保存點） ...
-
實時數(shù)倉-Maxwell
一、Maxwell maxwell是有美國zendesk開源，用Java編寫的Mysql實時抓取軟件；其抓取的原理也是基于binlog 二、Maxwell與Canal的對比 ...
-
Spark或Flink實時消費難點1、精確一次消費 1.1 定義 精確一次消費（Exact once）：指消息一定會被處理且只會被處理一次；不多不少就一次處理。 如果達(dá)不到精確一次消費，可能會達(dá)到另外兩種情況...
-
Clickhouse實踐離線實踐 主要業(yè)務(wù)：用戶分析和敏捷BI數(shù)據(jù)導(dǎo)入：由外部事務(wù)保證的T+1離線數(shù)據(jù) 離線實踐思路： 將數(shù)據(jù)根據(jù)業(yè)務(wù)邏輯使用Spark在Hive或HDFS將數(shù)據(jù)生成好，在HDFS上...
-
實時數(shù)倉-Canal介紹實時數(shù)倉中架構(gòu)如下圖： 實時架構(gòu)主要數(shù)據(jù)來源有3塊 日志文件（或設(shè)備上的心跳數(shù)據(jù)），由Flume或者Springboot程序直接寫到kafka中 接口API，使用程序調(diào)用接口...
-
Clickhouse的特點
Clickhouse的特點 一，列式存儲 IdNameAge1張三182李四223王五34 采用行式存儲時，數(shù)據(jù)在磁盤上的組織結(jié)構(gòu)為： 1張三182李四223王五34 行式存...
-
Clickhouse表引擎介紹
Clickhouse表引擎 表引擎是Clickhouse的一大特色，表引擎決定了如何存儲數(shù)據(jù)，包括： 數(shù)據(jù)的存儲方式和位置，寫到哪里以及從哪里讀取數(shù)據(jù) 支持哪些查詢以及如何支...
-
influxdb
前言 influxdb是目前比較流行的時間序列數(shù)據(jù)庫。 何謂時間序列數(shù)據(jù)庫？什么是時間序列數(shù)據(jù)庫，最簡單的定義就是數(shù)據(jù)格式里包含Timestamp字段的數(shù)據(jù)，比如某一時間環(huán)境...
