本文基于Spark2.1.0版本套用官文Tuning Spark中的一句話作為文章的標(biāo)題： *Often, choose a serialization type will ...
發(fā)簡信
IP屬地：上海
-
利用Kryo序列化庫是你提升Spark性能要做的第一件事 -
利用Spark提供的屬性來提升Spark Web UI的安全性本文基于Spark 2.1.0版本、Hadoop 2.7.3版本 如無特殊說明，本文的Spark Web UI，特指: [Driver Web UI]（默認(rèn)是http://運...
-
當(dāng)CPU飆高時，它在做什么在開發(fā)過程中，有時候我們發(fā)現(xiàn)JVM占用的CPU居高不下，跟我們的預(yù)期不符，這時，CPU在做什么呢？是什么線程讓CPU如此忙碌呢？我們通過如下幾步，可以查看CPU在執(zhí)行什么線程...
-
一個Spark DataFrame操作的例子
1 定義數(shù)據(jù)庫連接 2 讀取兩個表 3 連接 使用join，默認(rèn)是left out join。條件判斷是相等。然后刪除掉一個重復(fù)的列card_id。 4 統(tǒng)計 group b...
-
使用bind架設(shè)內(nèi)網(wǎng)dns
在之前的spark on yarn集群配置中，感覺最麻煩的就是各個機器之間的網(wǎng)絡(luò)配置了，一直想簡化這部分的工作。一開始的辦法是一臺機器一臺機器的編輯/etc/network/...
-
Java 8并發(fā)工具包漫游指南Java 8并發(fā)工具包簡介 Java 8并發(fā)工具包由3個包組成，分別是java.util.concurrent、java.util.concurrent.atomic和jav...
-
Spark 開發(fā)初步開始著手分析數(shù)據(jù)，數(shù)據(jù)是導(dǎo)出成csv格式的文本文件，每一行格式如下： 1701170830490656,"2014-01-06 22:31:18.608000",8.64,1...
-
Spark On Yarn部署本文使用的軟件環(huán)境同第一篇，另增加了hadoop的環(huán)境： Linux 4.4.0-62-generic #83-Ubuntu x86_64 GNU/Linuxjava ver...
