原文鏈接使用的是客戶端收集的日志直接輸出到flume中，在flume收集完后，保存到hdfs中。其中有定義flume的自定義攔截器。 上面是把數(shù)...
投稿
收錄了71篇文章 · 161人關(guān)注
-
大數(shù)據(jù)實(shí)戰(zhàn)之App管理平臺(tái)日志分析（二）
-
Azkaban 簡(jiǎn)單入門Azkaban是由Linkedin開源的一個(gè)批量工作流任務(wù)調(diào)度器。用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程。Azkaban定義了一種...
-
搭建時(shí)間服務(wù)器并配置集群自動(dòng)時(shí)鐘同步
搭建時(shí)間服務(wù)器并配置集群自動(dòng)時(shí)鐘同步 一、搭建時(shí)間服務(wù)器 （一）為什么要搭建時(shí)間服務(wù)器 因?yàn)镠adoop 對(duì)集群中各個(gè)機(jī)器的時(shí)間同步要求比較高...
-
如果人死了--QQ怎么辦？
想必這個(gè)問(wèn)題，大家都可能會(huì)想過(guò)這個(gè)問(wèn)題：如果某一天自己掛掉了，QQ怎么辦？不在上線，沒(méi)有回復(fù)，過(guò)段時(shí)間騰訊官方直接清除該人的記錄？ ...
-
HDFS MapReduce
hdfs的讀寫流程 hdfs寫數(shù)據(jù) 1） 客戶端通過(guò)DistributedFileSystem模塊向namenode請(qǐng)求上傳文件，namenod...
-
集群中配置出現(xiàn)的錯(cuò)誤：
1，防火墻沒(méi)關(guān)閉、或者沒(méi)有啟動(dòng) yarn 集群中錯(cuò)誤首先看防火墻。2，datanode 不被 namenode 識(shí)別問(wèn)題Namenode...
-
簡(jiǎn)單操作DML（Data Manipulation Language）
數(shù)據(jù)操作語(yǔ)言（DML) ：SQL的分類之一，命令使用戶能夠查詢數(shù)據(jù)庫(kù)以及操作已有數(shù)據(jù)庫(kù)中的數(shù)據(jù)的計(jì)算機(jī)語(yǔ)言。簡(jiǎn)單的說(shuō)就是用來(lái)操作數(shù)據(jù) ，還有...
-
hadoop集群時(shí)間同步
同步方式 選擇一個(gè)機(jī)器，作為時(shí)間服務(wù)器（這里選擇hadoop01），所有的機(jī)器與這臺(tái)集群時(shí)間進(jìn)行定時(shí)的同步，比如，每隔十分鐘，同步一次時(shí)間。 所...
-
集群常見錯(cuò)誤解決方案
1、java.net.NoRouteToHostException: No route to host 解決方法：zookeeper的IP要配對(duì)...
-
hadoop常見錯(cuò)誤集錦
1、啟動(dòng)hadoop時(shí)沒(méi)有NameNode的可能原因： （1） NameNode沒(méi)有格式化（2） 環(huán)境變量配置錯(cuò)誤（3） Ip和hostname...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/328393/wKioL1Xw9KHiY6VdAABK00EuqQo562.jpg', '推薦專題《大數(shù)據(jù)》（ 分享自 @簡(jiǎn)書 ）','http://www.itdecent.cn/c/100d5dafaf58?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}