jps命令的用處?
這個(gè)命令可以檢查Namenode、Datanode、Task Tracker、 Job Tracker是否正常工作
請(qǐng)列出你所知道的 hadoop 調(diào)度器,并簡(jiǎn)要說(shuō)明其工作方法?
1 FIFO schedular:默認(rèn),先進(jìn)先出的原則
2 Capacity schedular:計(jì)算能力調(diào)度器,選擇占用最小,優(yōu)先級(jí)高的先執(zhí)行,以此類(lèi)推。
3 Fair schedular:公平調(diào)度,所有的job具有相同的資源。
hadoop 的 namenode 宕機(jī),怎么解決
先分析宕機(jī)后的損失,宕機(jī)后直接導(dǎo)致client無(wú)法訪問(wèn),內(nèi)存中的元數(shù)據(jù)丟失,但是硬盤(pán)中的元數(shù)據(jù)應(yīng)該還存在,如果只是節(jié)點(diǎn)掛了,重啟即可,如果是機(jī)器掛了,重啟機(jī)器后看節(jié)點(diǎn)是否能重啟,不能重啟就要找到原因修復(fù)了。但是最終的解決方案應(yīng)該是在設(shè)計(jì)集群的初期就考慮到這個(gè)問(wèn)題,做namenode的HA
一個(gè)datanode 宕機(jī),怎么一個(gè)流程恢復(fù)
Datanode宕機(jī)了后,如果是短暫的宕機(jī),可以實(shí)現(xiàn)寫(xiě)好腳本監(jiān)控,將它啟動(dòng)起來(lái)。如果是長(zhǎng)時(shí)間宕機(jī)了,那么datanode上的數(shù)據(jù)應(yīng)該已經(jīng)被備份到其他機(jī)器了,那這臺(tái)datanode就是一臺(tái)新的datanode了,刪除他的所有數(shù)據(jù)文件和狀態(tài)文件,重新啟動(dòng)。
在hadoop中文件的壓縮帶來(lái)了兩大好處
它減少了存儲(chǔ)文件所需的空間;
加快了數(shù)據(jù)在網(wǎng)絡(luò)上或者從磁盤(pán)上或到磁盤(pán)上的傳輸速度;