【2019-07-31】jj場景下日志收集辦法

運(yùn)行完成的任務(wù)日志收集

運(yùn)行結(jié)束的日志會(huì)自動(dòng)歸集到hdfs日志目錄:/tmp/logs/*/logs/appid路徑下,需要使用hdfs客戶端進(jìn)行日志收集。

  1. 步驟一:
    首先在yarn上找到停止的任務(wù)的appid(可以),格式為applications_xxxxx_xxxx,狀態(tài)為Finished
  2. 步驟二:進(jìn)入大數(shù)據(jù)客戶端安裝目錄
    cd /opt/hadoopclient
  3. 步驟三:加載客戶端環(huán)境變量
    source bigdata_env
  4. 步驟四:認(rèn)證用戶admin
    kinit admin
  5. 步驟五:使用hdfs獲取日志,存放到當(dāng)前路徑。(applications_xxxxx_xxxx,是我們首先獲取到任務(wù)appid)
    hdfs dfs -get /tmp/logs/*/logs/applications_xxxxx_xxxx .
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容