@Mastema_ac9f 不需要共享磁盤，spark是計算支撐，數(shù)據(jù)是節(jié)點間傳輸?shù)?，對存儲要求不高。對，不需要slave ssh master，這塊主要是master登錄上slave執(zhí)行腳本。
Spark的獨立集群模式部署spark的獨立集群（standalon）模式很容易上手，文檔在：Spark Standalone Mode。 本次實踐的軟件環(huán)境為： Linux 4.4.0-62-gene...
本文基于Spark2.1.0版本套用官文Tuning Spark中的一句話作為文章的標題： *Often, choose a serialization type will ...
本文基于Spark 2.1.0版本、Hadoop 2.7.3版本 如無特殊說明，本文的Spark Web UI，特指: [Driver Web UI]（默認是http://運...
在開發(fā)過程中，有時候我們發(fā)現(xiàn)JVM占用的CPU居高不下，跟我們的預(yù)期不符，這時，CPU在做什么呢？是什么線程讓CPU如此忙碌呢？我們通過如下幾步，可以查看CPU在執(zhí)行什么線程...
1 定義數(shù)據(jù)庫連接 2 讀取兩個表 3 連接 使用join，默認是left out join。條件判斷是相等。然后刪除掉一個重復(fù)的列card_id。 4 統(tǒng)計 group b...
1 定義數(shù)據(jù)庫連接 2 讀取兩個表 3 連接 使用join，默認是left out join。條件判斷是相等。然后刪除掉一個重復(fù)的列card_id。 4 統(tǒng)計 group b...
能寫得出這種文章的人，一定很窮。
我們是如何一步步陷入貧窮的？01. 窮不是一種狀態(tài)，而是一種心態(tài)。 好友說她逛街時，總是刻意地避開那些賣奢侈品的商場。 那些奢侈品在耀眼燈光的照射下，像一顆顆寶石一樣刺眼。 就像一個習慣在黑暗中行走的人...
在之前的spark on yarn集群配置中，感覺最麻煩的就是各個機器之間的網(wǎng)絡(luò)配置了，一直想簡化這部分的工作。一開始的辦法是一臺機器一臺機器的編輯/etc/network/...
在之前的spark on yarn集群配置中，感覺最麻煩的就是各個機器之間的網(wǎng)絡(luò)配置了，一直想簡化這部分的工作。一開始的辦法是一臺機器一臺機器的編輯/etc/network/...
能配上代碼就好了
Java 8并發(fā)工具包漫游指南Java 8并發(fā)工具包簡介 Java 8并發(fā)工具包由3個包組成，分別是java.util.concurrent、java.util.concurrent.atomic和jav...
Java 8并發(fā)工具包簡介 Java 8并發(fā)工具包由3個包組成，分別是java.util.concurrent、java.util.concurrent.atomic和jav...
開始著手分析數(shù)據(jù)，數(shù)據(jù)是導(dǎo)出成csv格式的文本文件，每一行格式如下： 1701170830490656,"2014-01-06 22:31:18.608000",8.64,1...
@莫楠學(xué)姐 妹子這招好啊，鄙人情商極低，最怕情商高的。這種人生大議題寫起來基本都流于空談，所謂道理我都懂，你講的頭頭是道，也不過混得如此?？梢栽囋嚭萌R塢的講述手法，越大的議題，越小處著眼，從一個平凡的人的混跡成長講述，無比注重細節(jié)。比如大冬天的面試成功了快半夜才回到租住的學(xué)校旁的小屋，想泡方便面又決定還是慶祝一番，去夜排檔點菜卻猶豫了，最終還是要了一碗魚頭豆腐湯，喝干凈第二天整天渾身都熱乎。
大學(xué)畢業(yè)，要不要去北上廣深發(fā)展和朋友聊天，提到了房價。他說他父親的一個朋友，孩子在北京的互聯(lián)網(wǎng)公司上班，年薪50萬。今年年初舉全家之力，花1000多萬給孩子在北京買了婚房。那孩子他爸說，在我們老家，我有這...
人生瞎JB導(dǎo)師
大學(xué)畢業(yè)，要不要去北上廣深發(fā)展和朋友聊天，提到了房價。他說他父親的一個朋友，孩子在北京的互聯(lián)網(wǎng)公司上班，年薪50萬。今年年初舉全家之力，花1000多萬給孩子在北京買了婚房。那孩子他爸說，在我們老家，我有這...
