常見(jiàn)問(wèn)題 YARN集群還有資源，為什么部分任務(wù)還是一直處于ACCEPT狀態(tài)？ 大數(shù)據(jù)集群還剩有很多資源，部分任務(wù)還是一直處于ACCEPT狀態(tài)。首...
投稿
收錄了126篇文章 · 383人關(guān)注
-
YARN常見(jiàn)問(wèn)題與常用配置 -
關(guān)于HIVE
HQL語(yǔ)句 刪除查看語(yǔ)句: 創(chuàng)建語(yǔ)句: 創(chuàng)建內(nèi)部/外部表 區(qū)別:刪除表時(shí)外部表只會(huì)刪除元數(shù)據(jù)不會(huì)刪除數(shù)據(jù)本身. hive的三種數(shù)據(jù)類(lèi)型 創(chuàng)建分區(qū)...
-
關(guān)于HIVE2
普通查詢(xún): 三個(gè)排序: 四個(gè)分析函數(shù): 放置位置select之前from之后. 當(dāng)前行跟其他行級(jí)聯(lián)求各種的五個(gè)函數(shù) max/min/sum/av...
-
Hadoop—LDAP介紹和使用
LDAP介紹 LDAP概述 ??LDAP是輕量目錄訪問(wèn)協(xié)議，（LDAP, Lightweight Directory Access Protoc...
-
MapReduce2深入淺析一、MapReduce2工作機(jī)制 1.1、MapReduce2的架構(gòu)圖 1.2、MapReduce2運(yùn)作步驟 說(shuō)在前頭的話，上圖中有一個(gè)Reso...
-
hive sql資源調(diào)優(yōu)+數(shù)據(jù)傾斜解決方案一、mapreduce過(guò)程資源優(yōu)化 要了解mapreduce的資源優(yōu)化，首先應(yīng)該要熟悉整個(gè)mapreduce的過(guò)程，可以參考mapreduce2...
-
Hadoop學(xué)習(xí)（五）——YARN運(yùn)行原理剖析一、YARN的誕生 在hadoop1.0版本是沒(méi)有yarn的概念的，而在hadoop2.0版本以上才出現(xiàn)了yarn，人們是希望有一套合理的管理機(jī)...
-
hdfs寫(xiě)之打開(kāi)文件流<一>一、客戶(hù)端創(chuàng)建寫(xiě)文件的流程圖 namenode主要?jiǎng)?chuàng)建客戶(hù)端RPC請(qǐng)求的準(zhǔn)寫(xiě)的文件，namenode會(huì)把文件名保存到namespace中，然后返...
-
hdfs寫(xiě)之寫(xiě)數(shù)據(jù)<二>一、寫(xiě)數(shù)據(jù)流程圖 該流程主要是客戶(hù)端開(kāi)始寫(xiě)數(shù)據(jù)，然后把數(shù)據(jù)切分多個(gè)chunk，多個(gè)chunk組成一個(gè)packet，發(fā)送到queue中，等待dat...
-
hdfs讀之總結(jié)<四>一、hdfs讀取流程圖 假設(shè)block副本個(gè)數(shù)3個(gè) 客戶(hù)端發(fā)起請(qǐng)求到namenode節(jié)點(diǎn)，要求namenode告訴客戶(hù)端讀取的block位置在哪...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/265062/23163224_3906.jpg', '推薦專(zhuān)題《Hadoop系》（ 分享自 @簡(jiǎn)書(shū) ）','http://www.itdecent.cn/c/5869b82cb96b?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}