Flume同步數(shù)據(jù)到hive

一.檢查flume/lib下是否有一下jar包:

libfb303-0.9.3.jar,
hive-exec-1.2.1000.2.5.3.0-37.jar,
hive-metastore-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-streaming-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-streaming.jar,
hive-hcatalog-server-extensions-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-server-extensions.jar,
hive-hcatalog-pig-adapter-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-pig-adapter.jar,
hive-hcatalog-core-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-core.jar

沒有的話可以在服務(wù)器上find然后cp一波,后面八個在同一個文件夾下
二.建表時一定滿足條件
1.分桶
2.orc格式
3.TBLPROPERTIES ('transactional'='true');
三.查詢時如果出現(xiàn)報錯,不管三七二十一直接

set hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
set hive.support.concurrency=true
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容