發(fā)簡信
IP屬地：廣東
-
Hadoop學(xué)習(xí)筆記(5)-MapReduce自行整理, 學(xué)習(xí)用途, 侵知刪歉 一.MapReduce定義 MP是一種編程模型 記錄導(dǎo)向的數(shù)據(jù)處理方式(鍵值對) 幫助多節(jié)點下的任務(wù)分配 由M...
-
Hadoop學(xué)習(xí)筆記(4)-Sqoop自行整理, 學(xué)習(xí)用途, 侵知刪歉 一. 定義 Sqoop是SQL-to-Hadoop數(shù)據(jù)庫導(dǎo)入工具, 從RDBMSs(Relational Da...
-
Hadoop學(xué)習(xí)筆記(3)-Flume自行整理, 學(xué)習(xí)用途, 侵知刪歉Flume的設(shè)計目標(biāo): 可靠性, 可量測性, 可擴展性 Agent將數(shù)據(jù)寫成多種HDFS文件格式(text, S...
-
Hadoop學(xué)習(xí)筆記(2)-HDFS自行整理, 學(xué)習(xí)用途, 侵知刪歉 NameNode內(nèi)存分配 當(dāng)一個NameNode運行的時候, 所有的metaData都儲存在RAM中(快速響應(yīng)...
-
Hadoop學(xué)習(xí)筆記(1)-HDFS自行整理, 學(xué)習(xí)用途, 侵知刪歉 1.HDFS 新加入的文件被分成block, 64M默認; 默認每一個block復(fù)制3份,分布在多臺node上...
-
GlusterFS 學(xué)習(xí)筆記自行整理, 學(xué)習(xí)用途, 侵知刪歉 一.術(shù)語介紹 來源http://gluster.readthedocs.io/en/latest/Quick-...
-
Java的WordCount實現(xiàn)
WordCount 是用來統(tǒng)計一個文件中相同單詞出現(xiàn)次數(shù)的程序, 是一個可以用來描述Spark運行的經(jīng)典問題:通過將單詞拆分映射(map)和對映...