發(fā)簡(jiǎn)信
IP屬地：湖南
-
spark程序jar與spark lib jar沖突，加載順序
用戶編寫的spark程序打包成jar后提交到y(tǒng)arn執(zhí)行時(shí)，經(jīng)常會(huì)遇到j(luò)ar包中明顯存在某個(gè)類，但任務(wù)提交到y(tǒng)arn運(yùn)行時(shí)卻找不到類或方法（ja...
-
maven 編譯錯(cuò)誤 org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1)
最近新接觸scala代碼的編寫、編譯，使用mvn編譯項(xiàng)目時(shí)經(jīng)常碰到“ExecuteException: Process exited with ...
-
Janusgraph Spark yarn-client模式批量導(dǎo)入配置
Janusgraph是一個(gè)分布式圖數(shù)據(jù)庫(kù)，繼承自titan。Janusgraph的批量導(dǎo)入（bulkload）默認(rèn)使用spark的local模式...
-
spark1.5.x升級(jí)spark2.1.1代碼改動(dòng)
背景 公司一直用spark1.5.2, 最近將其升級(jí)至spark2.1.1。本文的總結(jié)升級(jí)過(guò)程需要改動(dòng)的地方。涉及了spark普通項(xiàng)目和spar...
-
Java synchronized 實(shí)現(xiàn)唯一單例在初始化數(shù)據(jù)庫(kù)連接、hbase連接時(shí)，我們通常希望復(fù)用連接，而不是每次使用時(shí)都new 一個(gè)實(shí)例。也就是說(shuō)一個(gè)hbase表名對(duì)應(yīng)一個(gè)hbase c...
-
hadoop distcp hftp hdfs跨集群拷貝常見(jiàn)問(wèn)題歸總在工作中遇到部門間數(shù)據(jù)合作，需跨不同版本集群拷貝數(shù)據(jù)，從hadoop 2.6.0-cdh5.7.0 拷貝數(shù)據(jù)到hadoop 2.7.1， 記錄所...
-
KafKa java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V問(wèn)題 在初用spark streaming 1.5.2 自帶的low level 連接kafka例子（JavaDirectKafkaWordCo...
-
spark 資源大小分配與并行處理起因 寫這篇博客的起因我在跑一個(gè)spark job時(shí)，有時(shí)能跑通，有時(shí)跑不通。程序的需求是對(duì)比兩個(gè)hbase表。程序邏輯很簡(jiǎn)單，分別從兩個(gè)hba...