MapReduce setup()和cleanup()方法

  • setup()
    此方法被MapReduce框架僅且執(zhí)行一次,在執(zhí)行Map任務(wù)前,進(jìn)行相關(guān)變量或者資源的集中初始化工作。若是將資源初始化工作放在方法map()中,導(dǎo)致Mapper任務(wù)在解析每一行輸入時(shí)都會(huì)進(jìn)行資源初始化工作,導(dǎo)致重復(fù),程序運(yùn)行效率不高!
  • cleanup()
    此方法被MapReduce框架僅且執(zhí)行一次,在執(zhí)行完畢Map任務(wù)后,進(jìn)行相關(guān)變量或資源的釋放工作。若是將釋放資源工作放入方法map()中,也會(huì)導(dǎo)致Mapper任務(wù)在解析、處理每一行文本后釋放資源,而且在下一行文本解析前還要重復(fù)初始化,導(dǎo)致反復(fù)重復(fù),程序運(yùn)行效率不高!

所以,建議資源初始化及釋放工作,分別放入方法setup()和cleanup()中進(jìn)行。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 摘自:http://staticor.io/post/hadoop/2016-01-23hadoop-defini...
    wangliang938閱讀 692評(píng)論 0 1
  • MapReduce框架結(jié)構(gòu)## MapReduce是一個(gè)用于大規(guī)模數(shù)據(jù)處理的分布式計(jì)算模型MapReduce模型主...
    Bloo_m閱讀 3,947評(píng)論 0 4
  • YarnYarn產(chǎn)生背景:Yarn直接來(lái)自于MR1.0MR1.0 問題:采用的是master slave結(jié)構(gòu),ma...
    時(shí)待吾閱讀 6,123評(píng)論 2 23
  • MapReduce是一個(gè)數(shù)據(jù)處理的編程模型。這個(gè)模型很簡(jiǎn)單,但也不是簡(jiǎn)單到不能夠支持一些有用的語(yǔ)言。Hadoop能...
    單行線的旋律閱讀 1,607評(píng)論 0 2
  • 先思考問題 我們處在一個(gè)大數(shù)據(jù)的時(shí)代已經(jīng)是不爭(zhēng)的事實(shí),這主要表現(xiàn)在數(shù)據(jù)源多且大,如互聯(lián)網(wǎng)數(shù)據(jù),人們也認(rèn)識(shí)到數(shù)據(jù)里往...
    墻角兒的花閱讀 7,663評(píng)論 0 9

友情鏈接更多精彩內(nèi)容