發(fā)簡(jiǎn)信
IP屬地：上海
-
Flink時(shí)間語義和watermark(水位線)
時(shí)間語義 Event Time：事件創(chuàng)建的時(shí)間 Ingestion Time: 數(shù)據(jù)進(jìn)入Flink的時(shí)間 Processing Time: 執(zhí)行...
-
azkaban安裝注意點(diǎn)
一、配置azkaban-web-server配置文件 1. 記得指定executor.port，不然當(dāng)executor重啟時(shí)，會(huì)重新分配一個(gè)po...
-
Flink容錯(cuò)機(jī)制-Checkpoints和Savepoints
一、Checkpoints的算法原理 Checkpoints是flink自動(dòng)存儲(chǔ)快照 1. Barrier(checkpoint分割線) 二、S...
-
Flink SQL
SQL Client客戶端 在開啟SQL client客戶端時(shí)需要指定sql_lib; 可以在conf/sql-client-defaults....
-
Clickhouse實(shí)踐離線實(shí)踐 主要業(yè)務(wù)：用戶分析和敏捷BI數(shù)據(jù)導(dǎo)入：由外部事務(wù)保證的T+1離線數(shù)據(jù) 離線實(shí)踐思路： 將數(shù)據(jù)根據(jù)業(yè)務(wù)邏輯使用Spark在Hive或HD...
-
Spark或Flink實(shí)時(shí)消費(fèi)難點(diǎn)1、精確一次消費(fèi) 1.1 定義 精確一次消費(fèi)（Exact once）：指消息一定會(huì)被處理且只會(huì)被處理一次；不多不少就一次處理。 如果達(dá)不到精確一...
-
實(shí)時(shí)數(shù)倉(cāng)-Canal介紹實(shí)時(shí)數(shù)倉(cāng)中架構(gòu)如下圖： 實(shí)時(shí)架構(gòu)主要數(shù)據(jù)來源有3塊 日志文件（或設(shè)備上的心跳數(shù)據(jù)），由Flume或者Springboot程序直接寫到kafka中...
-
實(shí)時(shí)數(shù)倉(cāng)-Maxwell
一、Maxwell maxwell是有美國(guó)zendesk開源，用Java編寫的Mysql實(shí)時(shí)抓取軟件；其抓取的原理也是基于binlog 二、Ma...
-
Clickhouse的特點(diǎn)
Clickhouse的特點(diǎn) 一，列式存儲(chǔ) IdNameAge1張三182李四223王五34 采用行式存儲(chǔ)時(shí)，數(shù)據(jù)在磁盤上的組織結(jié)構(gòu)為： 1張三1...