問題描述:部門承接的某運(yùn)營商的CRM項(xiàng)目日志查詢出現(xiàn)延遲，最高延遲達(dá)半小時(shí)，嚴(yán)重影響業(yè)務(wù)運(yùn)行。問題解決:首先對他們的數(shù)據(jù)流向進(jìn)行了解后得知，數(shù)據(jù)...
投稿
收錄了10篇文章 · 69人關(guān)注
-
大數(shù)據(jù)運(yùn)維問題記錄(九)
-
大數(shù)據(jù)運(yùn)維問題記錄(八)問題描述:一個(gè)hbase集群出現(xiàn)數(shù)據(jù)傾斜，并且服務(wù)器經(jīng)常會(huì)宕機(jī)問題解決:登錄60010界面查看region的分布情況，發(fā)現(xiàn)region分布不均衡...
-
大數(shù)據(jù)運(yùn)維問題記錄(七)問題描述:公司中一個(gè)項(xiàng)目我們用netty接收廠商提供的數(shù)據(jù)入kafka，接收速度較慢，入kafka也比較慢，需要對其進(jìn)行一些優(yōu)化。問題解決:利用...
-
大數(shù)據(jù)運(yùn)維問題記錄(六)
問題描述:公司之前的采集產(chǎn)品由于對大數(shù)據(jù)這塊水土不服,入庫慢等原因,再加上負(fù)責(zé)這個(gè)產(chǎn)品的團(tuán)隊(duì)全部走光,導(dǎo)致現(xiàn)在出了問題沒人能解決,誰都不愿意踩這...
-
大數(shù)據(jù)運(yùn)維問題記錄(五)
問題描述：集群中原有采集程序從源文件入hbase出現(xiàn)積壓，優(yōu)化修改程序都無濟(jì)于事，需要趕緊出個(gè)方案進(jìn)行解決 問題解決：集群中的采集程序也有一條線...
-
Hive系列之HSQL轉(zhuǎn)換成MapReduce過程hive的庫、表等數(shù)據(jù)實(shí)際是hdfs系統(tǒng)中的目錄和文件，讓開發(fā)者可以通過sql語句， 像操作關(guān)系數(shù)據(jù)庫一樣操作文件內(nèi)容， 比如執(zhí)行查詢，統(tǒng)計(jì)，插...
-
大數(shù)據(jù)運(yùn)維問題記錄(一)
問題描述：在hive里運(yùn)行select count(1)操作一個(gè)表時(shí)，老是失敗，但是其它sql確不報(bào)錯(cuò)能正常跑出結(jié)果 問題解決：查看日志，發(fā)現(xiàn)會(huì)...
-
大數(shù)據(jù)運(yùn)維問題記錄(二)
問題描述：一個(gè)項(xiàng)目組的同事反應(yīng)他們的集群hive突然出現(xiàn)了問題，走mr就報(bào)錯(cuò) 問題解決：首先問了下他們最近做了些什么操作，說是最近在lib下復(fù)制...
-
大數(shù)據(jù)運(yùn)維問題記錄(三)
問題描述：在resourcemanager頁面查看到一些節(jié)點(diǎn)的Health report中報(bào) 1/4 local-dirs are bad: /...
-
大數(shù)據(jù)運(yùn)維問題記錄(四)問題描述：有個(gè)hadoop集群，跑hive任務(wù)的時(shí)候慢，而且經(jīng)常跑的跑的就掛了，報(bào)內(nèi)存不夠等等的相關(guān)異常，需要我們給解決，優(yōu)化一下配置 問題解決...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/267646/android.graphics.Bitmap_37948072.jpeg', '推薦專題《大數(shù)據(jù)運(yùn)維》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/22e76cfd7ab6?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}