一個永遠在路上的架構(gòu)師，具備前沿架構(gòu)視野，了解大數(shù)據(jù)起步手法，擅長后端路段的平穩(wěn)駕駛，熟悉代碼的保養(yǎng)和維修
發(fā)簡信
IP屬地：寧夏
-
flume 自定義kafka sink運行失?。赫也坏紺allback官網(wǎng)和github上都提供了source包，借助提供的kafkasink代碼，在其中增加分區(qū)邏輯，實現(xiàn)flume讀取日志并按特定規(guī)則輸入到kafka的不同分區(qū)，maven導出...
-
-
Mapreduce 優(yōu)化策略
優(yōu)化策略 優(yōu)化Map和Reducer數(shù)量。 輸入，大文件優(yōu)于小文件。 減少網(wǎng)絡(luò)傳輸（尤其是shuffle階段）：壓縮或combiner 設(shè)置相關(guān)參數(shù)。 map端： Map輸出...
-
Mapreduce shuffle簡單過程
shuffle（洗牌）把mapper階段的結(jié)果拷貝到reducer階段分為兩部分，mapshuffle,reduceshuffle mapshuffle：map的輸出結(jié)果輸出...
-
MapReduce setup()和cleanup()方法
setup()此方法被MapReduce框架僅且執(zhí)行一次，在執(zhí)行Map任務(wù)前，進行相關(guān)變量或者資源的集中初始化工作。若是將資源初始化工作放在方法map()中，導致Mapper...
-
如果你是程序員，或者有一顆喜歡寫程序的心，喜歡分享技術(shù)干貨、項目經(jīng)驗、程序員日常囧事等等，歡迎投稿《程序員》專題。 專題主編：小彤花園 http://www.itdecent.cn/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.itdecent.cn/p/7c8b33b5f63b 投稿須知： 1.收錄相關(guān)技術(shù)文章，但不限于技術(shù)，也可以是項目經(jīng)驗類的文章和程序員日常。 2.文章內(nèi)不得有任何推廣信息。包括但不限于公眾號、微博、微信，更不得在通過投稿后再修改文章加入推廣信息。你可以將這些推廣以及個人信息放在個人主頁介紹里。 3.字數(shù)極少，段落混亂，大段代碼沒有放到代碼框的文章不收錄 4.不相關(guān)的內(nèi)容不收錄，請確認文章內(nèi)容和本專題相關(guān) 目前針對優(yōu)質(zhì)作者及愛好者，開設(shè)了官方程序員微信群，希望加入請發(fā)簡信給主編小彤花園索取個人微信，主編會將你加入到【程序員】微信群，分享內(nèi)容，收獲知識。添加微信時備注昵稱。
