hive初識

1、hive是個啥

1)hive主要是對mapreduce任務(wù)進行簡化操作,方便工作人員快速進行數(shù)據(jù)分析;

2)hive是構(gòu)建在hadoop之上的數(shù)據(jù)倉庫,能夠?qū)⒔Y(jié)構(gòu)化的數(shù)據(jù)文件映射成一張表,以HQL作為查詢接口,使用HDFS進行數(shù)據(jù)存儲,使用mapreduce進行計算,運行在yarn上;

2、hive用處

1)ETL:Extract-Transform-Load,用來描述將數(shù)據(jù)從來源端經(jīng)過抽?。╡xtract)、交互轉(zhuǎn)換(transform)、加載(load)至目的端的過程;

2)對結(jié)構(gòu)化的數(shù)據(jù)進行查詢,適合離線數(shù)據(jù)處理

3、hive環(huán)境搭建

hive的運行依賴于HDFS文件系統(tǒng),所以首先必須要有HADOOP HDFS環(huán)境,這里略過,主要記錄一下hive相關(guān)配置

3.1 首先是到網(wǎng)站下載相應(yīng)版本的hive,建議不要使用太高的版本,會出各種問題,這里下載的是2.3.0版本,然后解壓到相應(yīng)路徑。
3.2 拷貝conf目錄下的hive-log4j2.properties.template文件并重命名hive-log4j2.properties,hive-env.sh.template文件并重命名為hive-env.sh,然后修改HADOOP_HOME和HIVE_CONF_DIR值
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/luozheng/tools/hadoop-3.0.1

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/luozheng/tools/hive-2.3.0-bin/conf
3.3 通過命令bin/schematool -initSchema -dbType derby對hive進行相關(guān)初始化
3.4 通過命令bin/start-dfs.sh啟動hdfs,bin/hive命令運行hive cli
hive.PNG
3.5 hive.log位置:/tmp/(當(dāng)前用戶名)/hive.log
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容