發(fā)簡信
IP屬地：湖南
-
Hbase筆記hbase是谷歌bigdata論文的一個代碼實現(xiàn)，hbase是開源軟件，在大數(shù)據(jù)處理領(lǐng)域應(yīng)用廣泛。今天樓主先來介紹一些基本原理，后面用工程代碼方...
-
hive學(xué)習(xí)筆記1.1 什么是Hive Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射成為一張數(shù)據(jù)庫表，并提供類SQL的查詢功能?？梢?..
-
namenode-HANamenode在HDFS中是一個非常重要的組件，相當(dāng)于hadoop集群系統(tǒng)的心臟，在顯示分布式集群環(huán)境中，還是會有可能出現(xiàn)Namenode的崩...
-
Zookeeper的實現(xiàn)機制一、什么是Zookeeper Zookeeper是一個hadoop的分布式協(xié)調(diào)服務(wù)，它包含一個簡單的源語集。分布式應(yīng)用程序可以基于它市縣同步服務(wù)...
-
-
MR的shuffle機制Shuffle過程是MapReduce的核心，描述著數(shù)據(jù)從map task輸出到reduce task輸入的這段過程。 Hadoop的集群環(huán)境，...
-
MapReduce提交job處理過程及yarn框架機制處理過程： 1.mp程序產(chǎn)生RunJar進程向resource manager申請執(zhí)行一個job 2.resource manager返回job...
-
hadoop中MapReduce工作機制在MapReduce整個過程可以概括為以下過程： 輸入 --> map --> shuffle --> reduce -->輸出 輸入文件會被切...
-
NameNode和SecondaryNameNode工作機制一. HDFS存儲過程： 1.客戶端需要存儲一份文件（客戶端進行切分），需要查詢NN中的元數(shù)據(jù)。若文件以及存在則拒絕存儲。 2.NN返回為客戶端...