Spark DataSource API 的提出使得各個數(shù)據(jù)源按規(guī)范實現(xiàn)適配,那么就可以高效的利用Spark 的計算能力。典型如Parquet,CarbonData,Post...
IP屬地:浙江
Spark DataSource API 的提出使得各個數(shù)據(jù)源按規(guī)范實現(xiàn)適配,那么就可以高效的利用Spark 的計算能力。典型如Parquet,CarbonData,Post...
StreamingPro目前已經(jīng)涵蓋流式/批處理,以及交互查詢?nèi)齻€領域,實現(xiàn)配置和SQL化 前言 StreamingPro 原來僅僅是用來作為Spark Streaming的...
Spark Streaming 非常適合ETL。但是其開發(fā)模塊化程度不高,所以這里提供了一套方案,該方案提供了新的API用于開發(fā)Spark Streaming程序,同時也實現(xiàn)...
之前有聽過Zero-Copy 技術(shù),而Kafka是典型的使用者。網(wǎng)上找了找,竟然沒有找到合適的介紹文章。正好這段時間正在閱讀Kafka的相關(guān)代碼,于是有了這篇內(nèi)容。這篇文章會...
Tungsten-sort 算不得一個全新的shuffle 方案,它在特定場景下基于類似現(xiàn)有的Sort Based Shuffle處理流程,對內(nèi)存/CPU/Cache使用做了...
這篇文章由一次平安夜的微信分享整理而來。在Stuq 做的分享,原文內(nèi)容。 業(yè)務場景 這次分享會比較實戰(zhàn)些。具體業(yè)務場景描述: 我們每分鐘會有幾百萬條的日志進入系統(tǒng),我們希望根...