參考項目: https://github.com/LiShuMing/spark-demos 疑惑一、Spark提交任務(wù)依賴包問題? 使用Spa...
參考項目: https://github.com/LiShuMing/spark-demos 疑惑一、Spark提交任務(wù)依賴包問題? 使用Spa...
一、準備環(huán)境: 創(chuàng)建Kafka Topic和HBase表 1. 在kerberos環(huán)境下創(chuàng)建Kafka Topic 1.1 因為kafka默認使...
本文基于spark源碼2.11 1. 概要 spark中網(wǎng)絡(luò)通信無處不在,例如 driver和master的通信,比如driver會想maste...
事由 上周工作中遇到一個bug,現(xiàn)象是一個spark streaming的job會不定期地hang住,不退出也不繼續(xù)運行。這個job經(jīng)是用pys...
SparkStreaming適合場景 Storm 流式計算(扶梯)優(yōu)點: 數(shù)據(jù)延遲度很低,Storm的事務(wù)機制要比SparkStreaming的...
可用性調(diào)優(yōu) SPARK-13793 之前的PipedRDD實現(xiàn)容錯性較差,只要發(fā)生fetch錯誤時,整個job就會失敗,該PR改進了PipedR...
準備 Java honest profiler工具: https://github.com/jvm-profiling-tools/honest...
網(wǎng)上有很多文章,發(fā)現(xiàn)跟當前的版本有很多沖突,看起來一知半解的;當前討論的版本為spark2.1.0,之前的版本不再考慮;而其命名方式也很奇怪,可...
編譯 carbondata1.2已經(jīng)支持hive+presto,carbon生態(tài)圈基本健全。 基于git checkout到branch-1.2...
Spark Streaming容錯機制保障 參考https://databricks.com/blog/2015/01/15/improved-...