發(fā)簡(jiǎn)信
IP屬地：廣東
-
Hadoop學(xué)習(xí)筆記(5)-MapReduce自行整理, 學(xué)習(xí)用途, 侵知?jiǎng)h歉 一.MapReduce定義 MP是一種編程模型 記錄導(dǎo)向的數(shù)據(jù)處理方式(鍵值對(duì)) 幫助多節(jié)點(diǎn)下的任務(wù)分配 由M...
-
Hadoop學(xué)習(xí)筆記(4)-Sqoop自行整理, 學(xué)習(xí)用途, 侵知?jiǎng)h歉 一. 定義 Sqoop是SQL-to-Hadoop數(shù)據(jù)庫(kù)導(dǎo)入工具, 從RDBMSs(Relational Da...
-
Hadoop學(xué)習(xí)筆記(3)-Flume自行整理, 學(xué)習(xí)用途, 侵知?jiǎng)h歉Flume的設(shè)計(jì)目標(biāo): 可靠性, 可量測(cè)性, 可擴(kuò)展性 Agent將數(shù)據(jù)寫(xiě)成多種HDFS文件格式(text, S...
-
Hadoop學(xué)習(xí)筆記(2)-HDFS自行整理, 學(xué)習(xí)用途, 侵知?jiǎng)h歉 NameNode內(nèi)存分配 當(dāng)一個(gè)NameNode運(yùn)行的時(shí)候, 所有的metaData都儲(chǔ)存在RAM中(快速響應(yīng)...
-
Hadoop學(xué)習(xí)筆記(1)-HDFS自行整理, 學(xué)習(xí)用途, 侵知?jiǎng)h歉 1.HDFS 新加入的文件被分成block, 64M默認(rèn); 默認(rèn)每一個(gè)block復(fù)制3份,分布在多臺(tái)node上...
-
GlusterFS 學(xué)習(xí)筆記自行整理, 學(xué)習(xí)用途, 侵知?jiǎng)h歉 一.術(shù)語(yǔ)介紹 來(lái)源http://gluster.readthedocs.io/en/latest/Quick-...
-
Java的WordCount實(shí)現(xiàn)
WordCount 是用來(lái)統(tǒng)計(jì)一個(gè)文件中相同單詞出現(xiàn)次數(shù)的程序, 是一個(gè)可以用來(lái)描述Spark運(yùn)行的經(jīng)典問(wèn)題:通過(guò)將單詞拆分映射(map)和對(duì)映...