發(fā)簡信
IP屬地：北京
-
2020-04-21
通過命令 -setrep 設(shè)置HDFS中文件的副本數(shù)量 這里設(shè)置的副本數(shù)只是記錄在NameNode的元數(shù)據(jù)中，是否真的會有這么多副本，還得看...
-
SparkStreaming優(yōu)雅關(guān)閉
開啟另外一個線程每5秒監(jiān)聽HDFS上一個文件是否存在。如果檢測到存在，調(diào)用ssc.stop()方法關(guān)閉SparkStreaming任務(wù)（當(dāng)你要關(guān)...
-
Spark 共享變量底層實(shí)現(xiàn)??Spark一個非常重要的特性就是共享變量。??默認(rèn)情況下，如果在一個算子的函數(shù)中使用到了某個外部的變量，那么這個變量的值會被拷貝到每個tas...
-
Spark 核心組件之BlockManager數(shù)據(jù)存儲與管理機(jī)制??BlockManager是整個Spark底層負(fù)責(zé)數(shù)據(jù)存儲與管理的一個組件，Driver和Executor的所有數(shù)據(jù)都由對應(yīng)的BlockMan...
-
DataX調(diào)優(yōu)及常見問題
jvm參數(shù) 在datax 中導(dǎo)數(shù)據(jù)使用過程中往往會因?yàn)?，目?biāo)數(shù)據(jù)過大導(dǎo)致datax oom，那么可以調(diào)大datax的jvm參數(shù)來防止oom,在p...
-
DataX 動態(tài)傳參
在實(shí)際應(yīng)用當(dāng)中，往往會需要動態(tài)傳入分區(qū)字段，那么在json文件中，可以選擇${參數(shù)值}來進(jìn)行傳參 相應(yīng)的在執(zhí)行命令上 使用-p “ -D參數(shù)值”...
-
Shell中單引號和雙引號區(qū)別
1）在/home/zby/bin創(chuàng)建一個test.sh文件 在文件中添加如下內(nèi)容 2）查看執(zhí)行結(jié)果 3）總結(jié)：（1）單引號不取變量值（2）雙引號...
-
JVM詳解（jdk1.7&jdk1.8）類裝載器ClassLoader 負(fù)責(zé)加載class文件，class文件在文件開頭有特定的文件標(biāo)示，并且ClassLoader只負(fù)責(zé)class文件...
-
Kafka分區(qū)策略
分區(qū)的原因 （1）方便在集群中擴(kuò)展，每個Partition可以通過調(diào)整以適應(yīng)它所在的機(jī)器，而一個topic又可以有多個Partition組成，因...