MapReduce
MapReduce的核心思想：分治 分而治之
MapReduce编程步骤
MapReduce原生编程有八个步骤俗称天龙八部
- map阶段的两个步骤
- 第一步：读取文件，解析成key,value对 这里的key，value对指代的是k1 v1
- 第二步：自定义map逻辑，接收第一步读取的k1,v1 ，转换成新的k2,v2输出
- shuffle阶段四个步骤
- 第三步：分区 相同key的的数据发送到同一个reduce里面去，形成一个集合 这里的key指代的是k2
- 第四步：排序 对我们的数据进行字典顺序的排列
- 第五步：规约 主要是在map端对数据做一次聚合，减少我们输出的k2的数据量
- 第六步：分组 将相同的数据发送到同一组里面去调用一次reduce逻辑
- reduce阶段的两个步骤
- 第七步：自定义reduce逻辑，接收k2 v2 转换成新的k3 v3 进行输出
- 第八步：输出 将我们reduce处理完成之后的数据进行输出
每一个步骤都是一个class类，将八个步骤的class类组织到一起就是我们的mapreduce的程序
MapTask和ReduceTask
在MapTask当中，一个文件的切片大小使用默认值是128M，就是跟我们一个block块对应大小一样。
- MapTask运行的整个过程
- TextInputFormat读取数据，解析成key,value对；
- 调用map逻辑，默认是一个切片（就是一个block块）对应一个mapTask；
- 数据写入到环形缓冲区，默认环形缓冲区的大小是100M，环形缓冲区其实就是一个数组；
- 数据一直往环形缓冲区当中写，数据在环形缓冲区当中实现分区，排序，规约，分组等；
- 等到数据写到环形缓冲区的80%的时候，启动溢写线程，将内存当中80M的数据，溢写到磁盘上面去；
- 等到MapTask完成之后，磁盘上面可能存在很多的小文件，这些小文件已经做好了局部排序（每个mapTask内部的排序），分区，规约等步骤，再把这些小文件合并成一个大的文件；
- 等待reduce阶段来拉取这个文件；
- ReduceTask运行的整个过程
- 启动线程到MapTask那里去拷贝数据，拉取属于每一个ReduceTask自己内部的数据；
- 数据的合并merge，拉取过来的数据进行合并，合并的过程，有可能在内存当中，有可能在磁盘当中，有可能在内存和磁盘当中，合并的时候同时要进行分组操作；
- 调用reduce逻辑
- 数据输出
数据的压缩
数据的压缩分为两个地方的数据压缩
- MapTask结束之后的数据进行压缩
- ReduceTask结束之后的数据压缩
压缩算法首选snappy，谷歌出品的，压缩和解压缩的速率比都比较均衡，比较快，并且也不会压缩的太小，导致CPU开销比较大；
名称解释
- 分区
相同的数据发送到同一个reduce里面去，物以类聚人以群分；
默认使用的分区类 HashPartitioner,分区规则是按照key2 去hashCode 然后在对reduce个数取模；
自定义分区类 extends Partitioner<k2 v2>实现自定义逻辑； - 排序以及序列化
使用自己的序列化方式 Writable 如果既要序列化，又要排序 ，那么就要实现WritableComparable重写 compreTo方法实现自己的逻辑；
