1 數(shù)據(jù)傾斜調(diào)優(yōu) 1.1 調(diào)優(yōu)概述 有的時候，我們可能會遇到大數(shù)據(jù)計算中一個最棘手的問題——數(shù)據(jù)傾斜，此時Spark作業(yè)的性能會比期望差很多。數(shù)據(jù)傾斜調(diào)優(yōu)，就是使用各種技術(shù)方...
發(fā)簡信
IP屬地：北京
-
Spark性能優(yōu)化指南——高級篇
-
Spark性能優(yōu)化指南——基礎(chǔ)篇
1 前言 在大數(shù)據(jù)計算領(lǐng)域，Spark已經(jīng)成為了越來越流行、越來越受歡迎的計算平臺之一。Spark的功能涵蓋了大數(shù)據(jù)領(lǐng)域的離線批處理、SQL類處理、流式/實時計算、機器學(xué)習(xí)、...
-
Spark 如何寫入HBase/Redis/MySQL/Kafka
這篇文章是給Spark初學(xué)者寫的，老手就不要看了。文章談及如何和HBase/Redis/MySQL/Kafka等進行交互的方法，主要是為了讓大家明白其內(nèi)部機制 一些概念 一個...
