背景介紹 業(yè)務(wù)場(chǎng)景：spark批量寫(xiě)入es，基于es-hadoop組件實(shí)現(xiàn) 批處理任務(wù)定時(shí)調(diào)度 cdh5.5.3集群，spark2.3，elasticsearch6.4.3 ...
發(fā)簡(jiǎn)信
IP屬地：上海
-
Spark寫(xiě)入es：EsHadoopRemoteException: version_conflict_engine_exception
-
編輯神器-vim使用總結(jié)編輯神器之-vim總結(jié) vim 的四種模式及轉(zhuǎn)換 normal 模式 insert 模式 command 模式 visual 模式 vim的光標(biāo)移動(dòng) 基本的上下左右移動(dòng)...
-
版本控制-git常用總結(jié)
git四大區(qū)域 工作區(qū)：保存文件的最終狀態(tài)（包括：未提交/已提交） 暫存區(qū)：保存待提交內(nèi)容 本地庫(kù)：保存已提交的記錄，本地 遠(yuǎn)程庫(kù)：保存已提交的記錄，遠(yuǎn)程 git常用命令 g...
-
Spark local模式連接集群hdfs、hive
背景介紹 Spark提供了local、standalone、on yarn等多種運(yùn)行模式，但為了保持開(kāi)發(fā)環(huán)境與實(shí)際運(yùn)行環(huán)境的一致性，通常都是在本地編寫(xiě)代碼，然后編譯并上傳ja...
-
如何提高Java代碼可讀性？
可讀性強(qiáng)的代碼，不僅能讓團(tuán)隊(duì)成員清晰了解代碼意圖；而且面對(duì)頻繁變更的需求，也是維護(hù)代碼的基礎(chǔ)。然而在實(shí)踐中怎樣才能逐漸增強(qiáng)代碼的可讀性呢？以下幾點(diǎn)心得可供參考。 避免巨復(fù)雜的...
-
如何理解一個(gè)Java方法只做一件事?
為了實(shí)現(xiàn)代碼的可讀性、可擴(kuò)展性等，在不同層面對(duì)實(shí)現(xiàn)邏輯的抽象與封裝。 舉個(gè)例子：快速排序 quickSort(int[] arr)對(duì)指定數(shù)組排序，參數(shù)為arr。具體實(shí)現(xiàn)委托給...
-
Java集合之Deque接口在Java語(yǔ)言中，接口用于定義操作的基礎(chǔ)規(guī)范、協(xié)議，是最高層次的抽象。Deque接口基于Queue定義了一系列針對(duì)隊(duì)列首尾操作的規(guī)范（雙端隊(duì)列）。 繼承體系 線性集合 直接繼...
