虛擬機安裝 虛擬機及系統(tǒng)安裝不細說,主要針對筆者遇到的一些困難進行記錄 克隆虛擬機的問題 克隆虛擬機后,出現(xiàn)改了IP,重啟網(wǎng)絡還是連接不上的情況...
搭好了Hadoop環(huán)境,編寫了個簡單的WordCount程序,接下來,寫幾個MapReduce程序,看看MapReduce編程究竟怎么個用法 案...
Shuffle MapReduce執(zhí)行過程中,有一個很關(guān)鍵的過程--shuffle shuffle過程即為在map結(jié)束,對數(shù)據(jù)進行處理、排序、分...
YARN YARN是Hadoop的一個資源調(diào)度框架,下面簡單介紹下它的運行流程 以上是YARN的一個流程圖,簡單介紹 Client提交任務執(zhí)行請...
開始正式搭建Hadoop環(huán)境,之所以分開寫,也是便于閱讀及以后參考。 Hadoop環(huán)境的搭建過程中,需要配置幾個XML文件,接下來簡單介紹下這幾...
開始學習Hadoop了,其中很重要的一塊就是它的存儲系統(tǒng)-HDFS,先學學HDFS HDFS概述 HDFS源于Google發(fā)表于2003年10月...
之前簡單介紹了Zookeeper,接下來搭建一個Zookeeper的集群環(huán)境 本集群使用三個節(jié)點,網(wǎng)絡環(huán)境及jdk安裝不再贅述,直接從環(huán)境搭建開...
Zookeeper是為了解決大型分布式系統(tǒng)的一系列問題而開發(fā)的一套協(xié)調(diào)服務,它將復雜且容易出錯的分布一致性服務封裝起來,構(gòu)成了一個高效可靠的原語...
斷斷續(xù)續(xù)的學了半年的大數(shù)據(jù),只是會搭,會用,可一回頭,感覺又啥都不會,從頭記錄一下 大數(shù)據(jù)是當前很火的一個技術(shù)方向,說白了,其實就是一系列工具的...