7.HADOOP組件HIVE

我們知道如果對(duì)HDFS數(shù)據(jù)進(jìn)行分析,需要寫(xiě)map函數(shù)和reduce函數(shù),但是不是每個(gè)人都會(huì)java,所以hive的出現(xiàn)就是為了解決這個(gè)問(wèn)題的

Hive的設(shè)計(jì)目的是讓精通SQL技能(但java編程基礎(chǔ)很弱)的分析師能夠?qū)acebook存放在HDFS上中的大規(guī)模數(shù)據(jù)進(jìn)行查詢(xún)。
Hive把SQL查詢(xún)轉(zhuǎn)換為一系列在Hadoop集群上的運(yùn)行的mapreduce作業(yè)。
Hive把數(shù)據(jù)組織為表,通過(guò)這種方式為存儲(chǔ)在HDFS的數(shù)據(jù)賦予結(jié)構(gòu)
這種SQL叫做HQL,hive的設(shè)計(jì)在很大程度上深受mysql的影響,因此如果你熟悉mysql,就會(huì)感覺(jué)hive很親切
關(guān)系數(shù)據(jù)庫(kù)都是為實(shí)時(shí)查詢(xún)的業(yè)務(wù)進(jìn)行設(shè)計(jì)的,而hive則是為海量數(shù)據(jù)做數(shù)據(jù)挖掘設(shè)計(jì)的,實(shí)時(shí)性很差;實(shí)時(shí)性的區(qū)別導(dǎo)致hive的應(yīng)用場(chǎng)景和關(guān)系數(shù)據(jù)庫(kù)有很大的不同;

CDH版HADOOP安裝過(guò)程中HIVE組件截圖
HIVE組件

HIVE組件說(shuō)明:

  • metastore: 元數(shù)據(jù)服務(wù)組件,存儲(chǔ)HIVE的元數(shù)據(jù),hive的元數(shù)據(jù)需要存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)里,hive支持的關(guān)系型數(shù)據(jù)庫(kù)有 derby/mysql 等,元數(shù)據(jù)對(duì)hive十分重要,因此hive 支持把 metastore database 獨(dú)立出來(lái),安裝到遠(yuǎn)程服務(wù)器群,并解耦hive與 metastore服務(wù),保證了hive的壯健性,相對(duì)于獨(dú)立的metastore,mysql 是metastore database一種很受歡迎的選擇。

  • HIVE SERVER(Thrift server ):
    Thrift 服務(wù)是facebook 開(kāi)發(fā)的一個(gè)軟件框架,用來(lái)進(jìn)行可擴(kuò)展且跨語(yǔ)言的服務(wù)開(kāi)發(fā),hive集成了該服務(wù),讓不同編程語(yǔ)言可以調(diào)用hive接口

其他的我認(rèn)為非研發(fā)人員不必關(guān)注

安裝hive的過(guò)程很簡(jiǎn)單,下載好hive版本,然后解壓,配置環(huán)境變量,之后你就可以啟動(dòng)hive了
第一次啟動(dòng)hive時(shí),我們可以通過(guò)列出hive的表來(lái)檢查hive是否正常工作

[root@upid-hadoop-dn18 ~]# hive
hive> show tables ;
OK
ismassetinfo
ismproinfo
ismsecuinfo
Time taken: 1.729 seconds, Fetched: 3 row(s)
對(duì)于全新安裝,這個(gè)命令會(huì)花幾秒鐘時(shí)間來(lái)執(zhí)行,因?yàn)橄到y(tǒng)采用”lazy”懶策略,所以知道你運(yùn)行命令,它才會(huì)在機(jī)器上創(chuàng)建一個(gè)數(shù)據(jù)庫(kù)(metastore數(shù)據(jù)庫(kù))

本文章只是簡(jiǎn)單的介紹hive概念及hive 主要組件,hive的具體使用方式,請(qǐng)見(jiàn)后面的搭建章節(jié)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容