Hadoop項目基本

Common : 一系列 組件和接口,用于分布式文件系統(tǒng)和通用I/O(序列化,java RPC和持久化數(shù)據(jù)結(jié)構(gòu))
Avro : 一種序列化系統(tǒng),用于支持高效,快語言的RPC和持久化數(shù)據(jù)存儲
MapReduce : 分布式數(shù)據(jù)處理模型和執(zhí)行華景,運行于大型商用機集群
HDFS : 分布式文件系統(tǒng),云星宇大型商用機集群
Pig:數(shù)據(jù)流語言和運行環(huán)境,用于探究非常龐大的數(shù)據(jù)集.Pig運行在MapReduce和HDFS集群上
Hive: 一種分布式的,按列存儲的數(shù)據(jù)倉庫.Hive管理HDFS中存儲的數(shù)據(jù),并提供基于SQL的查詢語言用于查詢數(shù)據(jù)
HBase:一種分布式.按列存儲的數(shù)據(jù)庫.HBase使用HDFS作為底層存儲,同事支持MapReduce的批量式計算和點查詢
zookeeper : 一種分布式,可用性高的協(xié)調(diào)服務(wù).zookeeper提供分布式鎖之類的基本服務(wù)用于構(gòu)建分布式應(yīng)用
Sqoop : 該工具用于結(jié)構(gòu)化數(shù)據(jù)存儲和HDFS之間高效批量傳輸數(shù)據(jù)
Oozie : 該服務(wù)用于運行和調(diào)度Hadoop作業(yè)

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容