發(fā)簡信
IP屬地：香港
-
flume 自定義kafka sink運行失敗：找不到Callback官網(wǎng)和github上都提供了source包，借助提供的kafkasink代碼，在其中增加分區(qū)邏輯，實現(xiàn)flume讀取日志并按特定規(guī)則輸入到kaf...
-
Mapreduce 優(yōu)化策略
優(yōu)化策略 優(yōu)化Map和Reducer數(shù)量。 輸入，大文件優(yōu)于小文件。 減少網(wǎng)絡傳輸（尤其是shuffle階段）：壓縮或combiner 設置相關...
-
Mapreduce shuffle簡單過程
shuffle（洗牌）把mapper階段的結果拷貝到reducer階段分為兩部分，mapshuffle,reduceshuffle mapshu...
-
MapReduce setup()和cleanup()方法
setup()此方法被MapReduce框架僅且執(zhí)行一次，在執(zhí)行Map任務前，進行相關變量或者資源的集中初始化工作。若是將資源初始化工作放在方法...