POC：POC測試，即Proof of Concept，是業(yè)界流行的針對客戶具體應(yīng)用的驗證性測試，根據(jù)用戶對采用系統(tǒng)提出的性能要求和擴展需求的指標，在選用服務(wù)器上進行真實數(shù)據(jù)...
發(fā)簡信
IP屬地：廣東
-
遷移你的業(yè)務(wù)到ClickHouse
-
實時數(shù)倉有必要嗎？
傳統(tǒng)的數(shù)據(jù)倉庫或者數(shù)據(jù)集市并沒有包括當前最新的數(shù)據(jù)，其數(shù)據(jù)是按周甚至按天導(dǎo)入到數(shù)倉里面的。然而，有一些公司已經(jīng)開始著手建設(shè)實時或近實時 BI 數(shù)據(jù)庫了。 乍一看，實時 BI ...
-
Impala與Hive混合使用的一個深坑
Hive版本 1.1.0-cdh5.9.0 Impala版本2.7.0-cdh5.9.0 Impala的高性能很好的彌補了Hive的查詢響應(yīng)慢的缺陷，在生產(chǎn)中若有實時...
-
Hue 的SQL查詢頁面搜索框生效問題處理集群啟用Sentry之后，Hive和Impala的SQL查詢頁面多了一個搜索框，通過搜索框搜索時，側(cè)邊欄一直處于加載狀態(tài)，如下圖所示。 首先通過Chrome抓包看到搜索的HT...
-
Yarn容器超過內(nèi)存限制問題處理最近發(fā)現(xiàn)Oozie上有個任務(wù)經(jīng)常會跑失敗，oozie的日志（標準輸出、標準錯誤輸出、系統(tǒng)日志）都看上去很正常，沒有異常輸出. 繼續(xù)查看nodemanager上的容器日志 在容...
-
Hue的Impala模塊沒有釋放連接的問題解決最近在研究Impala的準入控制這塊，其中一個參數(shù)是限制一個池中的最大并行執(zhí)行的查詢數(shù)，假設(shè)這個值是20，那么當提交一個查詢到impala,而集群中已經(jīng)有20個查詢正在執(zhí)行了...
-
一個由TimeZone引發(fā)的BUG數(shù)據(jù)平臺的數(shù)據(jù)流水線如下圖所示，最近的平臺的數(shù)據(jù)出現(xiàn)異常，數(shù)據(jù)導(dǎo)入過程中隨機出現(xiàn)Impala中的數(shù)據(jù)比Loghub中的數(shù)據(jù)少了很多。從數(shù)據(jù)流水線來看只有兩種可能：1.從MQ上...
-
HBase 一致性檢查與修復(fù)
HBase 不一致表現(xiàn)為： region不一致：當一個region被分配到多個regionserver或者沒有regionserver持有該region時，則產(chǎn)生region...
-
DataNode退役
準備工作： 1.確保依賴該主機的其他應(yīng)用上的相關(guān)配置已經(jīng)調(diào)整至其他機器。 2.確保該主機上除DataNode進程外其他CDH相關(guān)進程均已正常停止。 3.確保HDFS上有足夠的...
-
Impala讀取HBase外部表的一個坑
最近業(yè)務(wù)部門反應(yīng)數(shù)據(jù)上報上來數(shù)據(jù)中有字段缺失。有個字段daily_amount在MQ里面是有值的，但是導(dǎo)入到impala后查到的確為NULL。先交代一下背景。數(shù)據(jù)平臺的數(shù)據(jù)流...
-
Android 程序員，專注于相關(guān)知識的梳理總結(jié)。<br><br>Android 知識梳理目錄：<a href="http://www.itdecent.cn/p/fd82d18994ce" target="_blank">http://www.itdecent.cn/p/fd82d18994ce</a><br><br>Android 知識梳理目錄 - To do：<br><a href="http://www.itdecent.cn/p/9e0a64147d85" target="_blank">http://www.itdecent.cn/p/9e0a64147d85</a><br><br>Android 面試文檔：<a href="http://www.itdecent.cn/p/8456fe6b27c4" target="_blank">http://www.itdecent.cn/p/8456fe6b27c4</a><br><br>我是如何準備 Android 技術(shù)面試的~：<br><a href="http://www.itdecent.cn/p/a1a68a15ddde" target="_blank">http://www.itdecent.cn/p/a1a68a15ddde</a><br><br>Android 程序員入坑 Flutter：<a href="http://www.itdecent.cn/p/1679fd4d3639" target="_blank">http://www.itdecent.cn/p/1679fd4d3639</a>
-
-
JDBCTemplate的一個坑
最近給數(shù)據(jù)平臺的模型查詢部分加了一個查詢緩存。通過Spring AOP實現(xiàn)，思路是將查詢結(jié)果通過gson序列化后存儲在HBase中。 List > query(String ...
-
Hadoop集群硬件選擇
搭建一個Hadoop集群需要選擇合適的主機，這里主要考慮CPU、內(nèi)存、硬盤、網(wǎng)卡，另外一個Hadoop集群的主機數(shù)通常會具有一定規(guī)模幾十臺、上百臺甚至更多，那么主機自身的功耗...
-
和Spring Boot相關(guān)的一切，涵蓋Java后端技術(shù)棧
-
你這個病，叫做太愛思考人生
我家小妹妹有天氣沖沖的將一摞子書往桌上一堆，像是受了天大的委屈一樣撅起嘴，“我不學(xué)習(xí)了，也不考什么雅思了，考了有怎么樣，又不一定能出國，出了國也不一定過的好，沒意思。” 家中...
