發(fā)簡信
IP屬地：寧夏
-
Hbase筆記hbase是谷歌bigdata論文的一個(gè)代碼實(shí)現(xiàn)，hbase是開源軟件，在大數(shù)據(jù)處理領(lǐng)域應(yīng)用廣泛。今天樓主先來介紹一些基本原理，后面用工程代碼方...
-
hive學(xué)習(xí)筆記1.1 什么是Hive Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射成為一張數(shù)據(jù)庫表，并提供類SQL的查詢功能?？梢?..
-
namenode-HANamenode在HDFS中是一個(gè)非常重要的組件，相當(dāng)于hadoop集群系統(tǒng)的心臟，在顯示分布式集群環(huán)境中，還是會有可能出現(xiàn)Namenode的崩...
-
Zookeeper的實(shí)現(xiàn)機(jī)制一、什么是Zookeeper Zookeeper是一個(gè)hadoop的分布式協(xié)調(diào)服務(wù)，它包含一個(gè)簡單的源語集。分布式應(yīng)用程序可以基于它市縣同步服務(wù)...
-
-
MR的shuffle機(jī)制Shuffle過程是MapReduce的核心，描述著數(shù)據(jù)從map task輸出到reduce task輸入的這段過程。 Hadoop的集群環(huán)境，...
-
MapReduce提交job處理過程及yarn框架機(jī)制處理過程： 1.mp程序產(chǎn)生RunJar進(jìn)程向resource manager申請執(zhí)行一個(gè)job 2.resource manager返回job...
-
hadoop中MapReduce工作機(jī)制在MapReduce整個(gè)過程可以概括為以下過程： 輸入 --> map --> shuffle --> reduce -->輸出 輸入文件會被切...
-
NameNode和SecondaryNameNode工作機(jī)制一. HDFS存儲過程： 1.客戶端需要存儲一份文件（客戶端進(jìn)行切分），需要查詢NN中的元數(shù)據(jù)。若文件以及存在則拒絕存儲。 2.NN返回為客戶端...