基本介紹Ganglia:是UC Berkeley發(fā)起的一個開源集群監(jiān)視項目,設(shè)計用于測量數(shù)以千計的節(jié)點。Ganglia的核心包含gmond、gm...
(本文基于Spark 2.1.1、Kafka 0.10.2、Scala 2.11.8、Zookeeper 3.4.9、Kafka-manager...
曾經(jīng)試用過主流大廠提供的大數(shù)據(jù)平臺服務(wù),僅從用戶體驗角度上來說,各有千秋。 百度天算控制臺 功能分類明確,使用簡單,組件版本較新,客服響應(yīng)...
淺顯易懂的介紹,很多資料對File Blocks副本Location位置的描述是有誤的,正確的理解請參考本漫畫,后附Hadoop 2.7.3 B...
本文基于Spark 2.1.0版本、Hadoop 2.7.3版本 如無特殊說明,本文的Spark Web UI,特指: [Driver Web ...
本文基于Spark2.1.0版本套用官文Tuning Spark中的一句話作為文章的標(biāo)題: *Often, choose a serializa...
本文基于Spark2.1.0、Kafka 0.10.2、Scala 2.11.8版本 背景: Kafka做為一款流行的分布式發(fā)布訂閱消息系統(tǒng),以...
本文基于Spark2.1.0版本 雖然很少有生產(chǎn)環(huán)境用Kafka傳遞超過1M消息的場景(因為高吞吐、低延時的要求,Kafka 發(fā)布-訂閱模型中P...
本文基于Spark2.1.0版本 1,先簡單介紹一下通過SparkSQL JDBC連接數(shù)據(jù)庫的好處,不過這不是本文的重點 。 JDBC(Java...