黑猴子的家:MapReduce WordCount奇偶分區(qū)(Partitioner)

把單詞按照ASCII碼奇偶分區(qū)(Partitioner)

1、分析

2、自定義分區(qū)

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

public class WordCountPartitioner extends Partitioner<Text, IntWritable>{

    @Override
    public int getPartition(Text key, IntWritable value, int numPartitions) {
        
        // 1 獲取單詞key  
        String firWord = key.toString().substring(0, 1);
        char[] charArray = firWord.toCharArray();
        int result = charArray[0];
        // int result  = key.toString().charAt(0);

        // 2 根據(jù)奇數(shù)偶數(shù)分區(qū)
        if (result % 2 == 0) {
            return 0;
        }else {
            return 1;
        }
    }
}

3、在驅(qū)動(dòng)中配置加載分區(qū),設(shè)置reducetask個(gè)數(shù)

job.setPartitionerClass(WordCountPartitioner.class);
job.setNumReduceTasks(2);

4、基于wordcount案例

http://www.itdecent.cn/p/c8726f1ccd8f

5、Code -> GitHub

https://github.com/liufengji/hadoop_mapreduce.git

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容