前言 Flink的檢查點和恢復機制定期的會保存應用程序狀態(tài)的一致性檢查點。在故障的情況下，應用程序的狀態(tài)將會從最近一次完成的檢查點恢復，并繼續(xù)處理。盡管如此，可以使用檢查點來...
IP屬地：重慶
-
Flink 端對端一致性 -
hbase-compact剖析
前面的文章介紹了當達到一定的條件后memstore會flush生成hfile，隨著hfile文件逐漸增多，查詢可能需要更多的IO操作，為了合并這些hfile文件從而衍生出了c...
-
HBase MemStore 101前言 在我們的日常工作中，HBase主要作為KV Store來使用，撐起數(shù)據(jù)倉庫APP層的半邊天，為后臺和客戶端提供高效的存取服務。另外，它也是我們采用的OLAP引擎Kyli...
-
簡析Spark Streaming/Flink的Kafka動態(tài)感知前言 Sunday night，繼續(xù)超短文模式（希望下周就可以不這么劃水了hhhh Kafka是我們日常的流處理任務中最為常用的數(shù)據(jù)源之一。隨著數(shù)據(jù)類型和數(shù)據(jù)量的增大，難免要...
-
Flink on YARN的第三種部署模式：Application Mode前言 長久以來，在YARN集群中部署Flink作業(yè)有兩種模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三種全新的模式：...
-
Flink DataStream join小規(guī)模維度數(shù)據(jù)的簡便方法
最近真的非常忙，所以只能寫點這種類似工作總結的小短文了，看官勿怪。 在編寫基于Flink的ETL程序時，我們經常需要用維度數(shù)據(jù)豐富我們接入的流式數(shù)據(jù)，如通過商品ID獲得商品名...
-
維度數(shù)據(jù)實時關聯(lián)的實踐（w/ Flink、Vert.x & Guava Cache）Data Enrichment 在流式處理作業(yè)（特別是實時數(shù)倉ETL作業(yè)）中，我們的數(shù)據(jù)流可以視為無界事實表，其中往往缺乏一些維度信息。例如，對于埋點日志流而言，為了減少傳輸...
-
基于Flink+ClickHouse打造輕量級點擊流實時數(shù)倉前言 今天事情又比較多，寫得言簡意賅一些，看官勿怪。 Flink和ClickHouse分別是實時計算和（近實時）OLAP領域的翹楚，也是近些年非?；鸨拈_源框架，很多大廠都在...
-
