發(fā)簡信
IP屬地：上海
-
一個(gè)Spark DataFrame操作的例子
1 定義數(shù)據(jù)庫連接 2 讀取兩個(gè)表 3 連接 使用join，默認(rèn)是left out join。條件判斷是相等。然后刪除掉一個(gè)重復(fù)的列card_i...
-
使用bind架設(shè)內(nèi)網(wǎng)dns
在之前的spark on yarn集群配置中，感覺最麻煩的就是各個(gè)機(jī)器之間的網(wǎng)絡(luò)配置了，一直想簡化這部分的工作。一開始的辦法是一臺(tái)機(jī)器一臺(tái)機(jī)器的...
-
Spark On Yarn部署本文使用的軟件環(huán)境同第一篇，另增加了hadoop的環(huán)境： Linux 4.4.0-62-generic #83-Ubuntu x86_64 GN...
-
使用Spark KMeans對(duì)地點(diǎn)發(fā)生重量進(jìn)行聚類
聚類 Spark的機(jī)器學(xué)習(xí)庫分成兩類，一類是針對(duì)RDD的，在org.apache.spark.mllib包下，另一類則是針對(duì)DataFrame的...
-
使用Zeppelin代替spark-shell部署 把下載的bin-all.tgz上傳到服務(wù)器，解壓放到自己常用的目錄下。為了使用spark.read.jdbc功能，需要上傳一份mysql ...
-
Spark性能調(diào)優(yōu)盡可能的過濾原始數(shù)據(jù)在上次實(shí)踐中，我們使用 過濾并讀取了數(shù)據(jù)庫。如果我們要多加幾個(gè)過濾條件，要小心一個(gè)陷阱，Array[String]參數(shù)并不是...
-
Spark連接JDBC數(shù)據(jù)源
在實(shí)際的項(xiàng)目環(huán)境中，成熟的技術(shù)體系對(duì)關(guān)系型數(shù)據(jù)庫的依賴遠(yuǎn)遠(yuǎn)超過hdfs，而且對(duì)大數(shù)據(jù)運(yùn)算的結(jié)果，實(shí)踐中也傾向于保存到數(shù)據(jù)庫中，以便進(jìn)行多種方式的...
-
Spark RDD與本地容器交互
今天要從之前的數(shù)據(jù)中找出每個(gè)地點(diǎn)的一段時(shí)間內(nèi)的產(chǎn)品發(fā)生率，即某地點(diǎn)有產(chǎn)量的天數(shù)/總天數(shù)。 在此之前，為了輸出的可讀性，我們需要用地點(diǎn)別名代替地點(diǎn)...
-
使用Docker建立Mysql集群
軟件環(huán)境介紹 操作系統(tǒng)：Ubuntu server 64bit 14.04.1Docker版本1.6.2數(shù)據(jù)庫：Mariadb 10.10（Ma...