發(fā)簡信
IP屬地：廣東
-
Impala與Hive混合使用的一個深坑
Hive版本 1.1.0-cdh5.9.0 Impala版本2.7.0-cdh5.9.0 Impala的高性能很好的彌補了Hive的查詢...
-
Hue 的SQL查詢頁面搜索框生效問題處理集群啟用Sentry之后，Hive和Impala的SQL查詢頁面多了一個搜索框，通過搜索框搜索時，側(cè)邊欄一直處于加載狀態(tài)，如下圖所示。 首先通過...
-
Yarn容器超過內(nèi)存限制問題處理最近發(fā)現(xiàn)Oozie上有個任務(wù)經(jīng)常會跑失敗，oozie的日志（標準輸出、標準錯誤輸出、系統(tǒng)日志）都看上去很正常，沒有異常輸出. 繼續(xù)查看nodem...
-
Hue的Impala模塊沒有釋放連接的問題解決最近在研究Impala的準入控制這塊，其中一個參數(shù)是限制一個池中的最大并行執(zhí)行的查詢數(shù)，假設(shè)這個值是20，那么當提交一個查詢到impala,而集...
-
一個由TimeZone引發(fā)的BUG數(shù)據(jù)平臺的數(shù)據(jù)流水線如下圖所示，最近的平臺的數(shù)據(jù)出現(xiàn)異常，數(shù)據(jù)導入過程中隨機出現(xiàn)Impala中的數(shù)據(jù)比Loghub中的數(shù)據(jù)少了很多。從數(shù)據(jù)流水線...
-
HBase 一致性檢查與修復(fù)
HBase 不一致表現(xiàn)為： region不一致：當一個region被分配到多個regionserver或者沒有regionserver持有該re...
-
DataNode退役
準備工作： 1.確保依賴該主機的其他應(yīng)用上的相關(guān)配置已經(jīng)調(diào)整至其他機器。 2.確保該主機上除DataNode進程外其他CDH相關(guān)進程均已正常停止...
-
Impala讀取HBase外部表的一個坑
最近業(yè)務(wù)部門反應(yīng)數(shù)據(jù)上報上來數(shù)據(jù)中有字段缺失。有個字段daily_amount在MQ里面是有值的，但是導入到impala后查到的確為NULL。先...
-
JDBCTemplate的一個坑
最近給數(shù)據(jù)平臺的模型查詢部分加了一個查詢緩存。通過Spring AOP實現(xiàn)，思路是將查詢結(jié)果通過gson序列化后存儲在HBase中。 List ...