一， 啟動hadoop:start-dfs.sh報錯：Error: JAVA_HOME is not set and could not be found. 解決方法: 編輯...
發(fā)簡信
IP屬地：山東
-
虛擬機Ubuntu系統(tǒng)搭建Hadoop偽分布式常見問題
-
HDFS的常用命令總結(jié)
我是個愛總結(jié)的乖孩子，各個命令CSDN和官方文檔上都有，我總結(jié)了自己操作過，用著順手常用的命令，也希望給其他同學(xué)有所幫助，希望各位前輩大佬多多批評。=，= ? cat：hdf...
-
hadoop的shuffle過程總結(jié)
我盡量用好懂的方式總結(jié)一下，踩過坑的前輩多提意見，同時也希望為各位同學(xué)提供幫助。 簡單的打個比方，shuffle就是順豐快遞，將map端的數(shù)據(jù)經(jīng)過排序分類等一些列的操作，到r...
-
sqooph基礎(chǔ)+環(huán)境搭建+基本語句
有錯歡迎糾正補充，愛你的任三爺。 1.什么是sqoop? Sqoop是一個轉(zhuǎn)換工具，用于在關(guān)系型數(shù)據(jù)庫與HDFS之間進行數(shù)據(jù)轉(zhuǎn)換。就是把MySQL之類的關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)類型...
-
Elasticsearch環(huán)境搭建
學(xué)習(xí)新知識的時候，可能當時無法立即理解，可是經(jīng)歷過這一痛苦的階段再回來看看，就有種柳暗花明的感覺 。所以要及時記筆記才對啊年輕人。 —— —— 任三爺 Elasticsea...
-
基于Flume的日志收集系統(tǒng)(一)架構(gòu)和設(shè)計轉(zhuǎn)自http://www.aboutyun.com/thread-8317-1-1.html 問題導(dǎo)讀： 1.Flume-NG與Scribe對比，F(xiàn)lume-NG的優(yōu)勢在什么...
-
大數(shù)據(jù)學(xué)習(xí)之小白快速了解flume
科多大數(shù)據(jù)帶你來快速了解flume。 flume的整體基礎(chǔ)架構(gòu)包括三個，分別是source,chanel, sink. 下面是官網(wǎng)的截圖： 因此，優(yōu)化要從三個組件的角度去分別...
