Partitioner分区的作用是什么？
在进行MapReduce计算时，有时候需要把最终输出数据分到不同的文件中，比如按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么如果要得到多个文件，意味着有相同数量的Reducer任务在运行。Reducer任务的数据来自于Mapper任务，也就是Mapper任务要划分数据，对于不停的数据分配给不同的Reducer任务运行。Mapper任务划分数据的过程就称作partition。负责实现划分数据的类称作partitioner。
案例：将13开头的手机号输入到一个文件、15开头的手机号输入到一个文件，其他手机号输出到另一个文件
package com.wsy.bigdata.mr.access;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;
public class AccessPartitioner extends Partitioner<Text, Access> {
/**
*
* @param phone 手机号
* @param access
* @param numPartitions
* @return
*/
@Override
public int getPartition(Text phone, Access access, int numPartitions) {
if(phone.toString().startsWith("13")){
return 0;
}else if(phone.toString().startsWith("15")){
return 1;
}else {
return 2;
}
}
}
在运行MR程序时，只需要在主函数中加入如下两行代码即可：
//设置自定义分区规则
job.setPartitionerClass(AccessPartitioner.class);
job.setNumReduceTasks(3);
