歡迎關(guān)注筆者的公眾號(hào):【阿飛的博客】,首發(fā)都在這里?。。?LinkedIn中的個(gè)人主頁是訪問量最多的頁面之一,它允許其他人訪問你的個(gè)人主頁,從而了解你的專業(yè)技能,經(jīng)驗(yàn)和興趣等...
隨著Apache Parquet和Apache ORC等存儲(chǔ)格式以及Presto和Apache Impala等查詢引擎的發(fā)展,Hadoop生態(tài)系統(tǒng)有潛力作為面向分鐘級(jí)延時(shí)場(chǎng)景...
問題背景 筆者所在的部門屬于公司的大數(shù)據(jù)架構(gòu)部,現(xiàn)主要參與公司流式計(jì)算平臺(tái)的推廣,個(gè)人負(fù)責(zé)spark的平臺(tái)維護(hù)、特性定制、線上問題修改等。為了方便業(yè)務(wù)用戶提交spark應(yīng)用。...
@JonsonWung 可以的
基于SparkSQL實(shí)現(xiàn)的一套即席查詢服務(wù)IQL (項(xiàng)目地址:https://github.com/teeyog/IQL) English | 簡(jiǎn)體中文 基于SparkSQL實(shí)現(xiàn)了一套即席查詢服務(wù),具有如下特性: 優(yōu)...
@長(zhǎng)振 可以
基于SparkSQL實(shí)現(xiàn)的一套即席查詢服務(wù)IQL (項(xiàng)目地址:https://github.com/teeyog/IQL) English | 簡(jiǎn)體中文 基于SparkSQL實(shí)現(xiàn)了一套即席查詢服務(wù),具有如下特性: 優(yōu)...
針對(duì)數(shù)據(jù)亂序的需求,需要使用eventtime和watermark來解決。 watermarks的生成方式有兩種: With Periodic Watermarks:周期性的...
Window是無限數(shù)據(jù)流處理的核心,Window將一個(gè)無限的stream拆分成有限大小的”buckets”桶,我們可以在這些桶上做計(jì)算操作。本文主要聚焦于在Flink中如何進(jìn)...
摘要 Flink 認(rèn)為 Batch 是 Streaming 的一個(gè)特例,所以 Flink 底層引擎是一個(gè)流式引擎,在上面實(shí)現(xiàn)了流處理和批處理。而窗口(window)就是從 S...
Apache Flink(下簡(jiǎn)稱Flink)項(xiàng)目是大數(shù)據(jù)處理領(lǐng)域最近冉冉升起的一顆新星,其不同于其他大數(shù)據(jù)項(xiàng)目的諸多特性吸引了越來越多人的關(guān)注。本文將深入分析Flink的一些...
hplus
基于SparkSQL實(shí)現(xiàn)的一套即席查詢服務(wù)IQL (項(xiàng)目地址:https://github.com/teeyog/IQL) English | 簡(jiǎn)體中文 基于SparkSQL實(shí)現(xiàn)了一套即席查詢服務(wù),具有如下特性: 優(yōu)...
@linus_e96a 你試試就知道了
spark任務(wù)之Task失敗監(jiān)控需求 spark應(yīng)用程序中,只要task失敗就發(fā)送郵件,并攜帶錯(cuò)誤原因。 背景 在spark程序中,task有失敗重試機(jī)制(根據(jù) spark.task.maxFailures...