歡迎關(guān)注筆者的公眾號(hào)：【阿飛的博客】，首發(fā)都在這里！??！ LinkedIn中的個(gè)人主頁(yè)是訪問(wèn)量最多的頁(yè)面之一，它允許其他人訪問(wèn)你的個(gè)人主頁(yè)，從而了解你的專業(yè)技能，經(jīng)驗(yàn)和興趣等...
發(fā)簡(jiǎn)信
IP屬地：四川
-
從CMS到G1：LinkedIn個(gè)人主頁(yè)調(diào)優(yōu)實(shí)戰(zhàn) -
Hudi: Uber Engineering的Apache Hadoop增量處理框架
隨著Apache Parquet和Apache ORC等存儲(chǔ)格式以及Presto和Apache Impala等查詢引擎的發(fā)展，Hadoop生態(tài)系統(tǒng)有潛力作為面向分鐘級(jí)延時(shí)場(chǎng)景...
-
spark管理平臺(tái)支持多用戶問(wèn)題背景 筆者所在的部門(mén)屬于公司的大數(shù)據(jù)架構(gòu)部，現(xiàn)主要參與公司流式計(jì)算平臺(tái)的推廣，個(gè)人負(fù)責(zé)spark的平臺(tái)維護(hù)、特性定制、線上問(wèn)題修改等。為了方便業(yè)務(wù)用戶提交spark應(yīng)用。...
-
Flink EventTime和watermarks觸發(fā)機(jī)制以及sideOutputLateData應(yīng)用場(chǎng)景針對(duì)數(shù)據(jù)亂序的需求，需要使用eventtime和watermark來(lái)解決。 watermarks的生成方式有兩種： With Periodic Watermarks：周期性的...
-
Flink Streaming Windows操作Window是無(wú)限數(shù)據(jù)流處理的核心，Window將一個(gè)無(wú)限的stream拆分成有限大小的”buckets”桶，我們可以在這些桶上做計(jì)算操作。本文主要聚焦于在Flink中如何進(jìn)...
-
Flink 原理與實(shí)現(xiàn)：Window 機(jī)制摘要 Flink 認(rèn)為 Batch 是 Streaming 的一個(gè)特例，所以 Flink 底層引擎是一個(gè)流式引擎，在上面實(shí)現(xiàn)了流處理和批處理。而窗口（window）就是從 S...
-
Flink 原理與實(shí)現(xiàn)：深入理解Flink核心技術(shù)Apache Flink（下簡(jiǎn)稱Flink）項(xiàng)目是大數(shù)據(jù)處理領(lǐng)域最近冉冉升起的一顆新星，其不同于其他大數(shù)據(jù)項(xiàng)目的諸多特性吸引了越來(lái)越多人的關(guān)注。本文將深入分析Flink的一些...
-
-
Savepoints
Overview Savepints是外部存儲(chǔ)的checkpoint，你可以通過(guò)該checkpoint來(lái)停止，重復(fù)消費(fèi)和更新你的Flink程序。使用Flink的checkpo...
