發(fā)簡信
IP屬地：上海
-
Flink時間語義和watermark(水位線)
時間語義 Event Time：事件創(chuàng)建的時間 Ingestion Time: 數(shù)據(jù)進(jìn)入Flink的時間 Processing Time: 執(zhí)行...
-
azkaban安裝注意點
一、配置azkaban-web-server配置文件 1. 記得指定executor.port，不然當(dāng)executor重啟時，會重新分配一個po...
-
Flink容錯機(jī)制-Checkpoints和Savepoints
一、Checkpoints的算法原理 Checkpoints是flink自動存儲快照 1. Barrier(checkpoint分割線) 二、S...
-
Flink SQL
SQL Client客戶端 在開啟SQL client客戶端時需要指定sql_lib; 可以在conf/sql-client-defaults....
-
Clickhouse實踐離線實踐 主要業(yè)務(wù)：用戶分析和敏捷BI數(shù)據(jù)導(dǎo)入：由外部事務(wù)保證的T+1離線數(shù)據(jù) 離線實踐思路： 將數(shù)據(jù)根據(jù)業(yè)務(wù)邏輯使用Spark在Hive或HD...
-
Spark或Flink實時消費難點1、精確一次消費 1.1 定義 精確一次消費（Exact once）：指消息一定會被處理且只會被處理一次；不多不少就一次處理。 如果達(dá)不到精確一...
-
實時數(shù)倉-Canal介紹實時數(shù)倉中架構(gòu)如下圖： 實時架構(gòu)主要數(shù)據(jù)來源有3塊 日志文件（或設(shè)備上的心跳數(shù)據(jù)），由Flume或者Springboot程序直接寫到kafka中...
-
實時數(shù)倉-Maxwell
一、Maxwell maxwell是有美國zendesk開源，用Java編寫的Mysql實時抓取軟件；其抓取的原理也是基于binlog 二、Ma...
-
Clickhouse的特點
Clickhouse的特點 一，列式存儲 IdNameAge1張三182李四223王五34 采用行式存儲時，數(shù)據(jù)在磁盤上的組織結(jié)構(gòu)為： 1張三1...