發(fā)簡信
IP屬地：廣東
-
impala + kudu一些優(yōu)化心得
用了幾次impala + kudu做大數(shù)據(jù)實(shí)時(shí)計(jì)算場景，一路踏坑過來，這里分享踏坑經(jīng)驗(yàn) 一開始需要全量導(dǎo)入kudu，這時(shí)候我們先用sqoop把關(guān)...
-
兩集群數(shù)據(jù)拷貝
業(yè)務(wù)場景： 公司有兩套集群，A集群專門做數(shù)據(jù)存儲(chǔ)，B集群專門做數(shù)據(jù)清洗和數(shù)據(jù)展現(xiàn) A集群每天定時(shí)把數(shù)據(jù)同步過來B集群后，B集群負(fù)責(zé)后續(xù)清洗和供業(yè)...
-
flume-ng添加自定義攔截器
業(yè)務(wù)場景：收集nginx日志中個(gè)別信息進(jìn)入kafka，為了避免kafka壓力過大，這里優(yōu)化了兩點(diǎn) 刷選掉不需要分析的數(shù)據(jù)進(jìn)入kafka 盡量把消...
-
kafka =>SparkStreaming=>kudu集成kerberos本文檔主要介紹在cdh集成kerberos情況下，sparkstreaming怎么消費(fèi)kafka數(shù)據(jù)，并存儲(chǔ)在kudu里面 假設(shè)kafka集成k...
-
生產(chǎn)beeline事故分析場景分析 生產(chǎn)環(huán)境用beeline連接hive總是偶爾卡死 hive健康檢查也總是偶爾告警 hive健康檢查失敗的同時(shí)，beeline連不上hi...
-
CDH報(bào)警任何CDH報(bào)紅的時(shí)候，都需要留意； 磁盤報(bào)警磁盤報(bào)警.png 問題定位 查看報(bào)紅節(jié)點(diǎn)機(jī)器的磁盤情況查看磁盤.png 發(fā)現(xiàn)問題在/usr目錄下， ...
-
HashMap下面實(shí)現(xiàn)一個(gè)用于存儲(chǔ)鍵值對的數(shù)據(jù)格式類，它包含以下屬性 用于存放元素的key，和對應(yīng)的值value的實(shí)體 （稱為node） 用于存放元素實(shí)體的數(shù)...
-
Java連接集成Kerberos的HA HDFS在實(shí)施方案前，假設(shè)讀者已經(jīng)基本熟悉以下技術(shù) (不細(xì)說) Java，maven hdfs，kerberos 方案實(shí)施 最后目錄大概如下目錄結(jié)構(gòu)....
-
CDH遇到的問題CDH添加高h(yuǎn)dfs高可用后，hive，impala查詢報(bào)錯(cuò) 解決辦法：1.進(jìn)入Hive服務(wù)并停止Hive的所有服務(wù)2.點(diǎn)擊 “操作” => "...