本文主要讲述hadoop中MapReduce数据处理的过程。
MapReduce处理流程
过程简析:
MapReduce的作业流程大致可分为4个步骤:input、maper、shuffle、reducer。下面以这四个阶段为基础来对MapReduce进行说明。
1.input
input为MapReduce从HDFS中读取数据阶段,在input阶段,主要会对要读入的数据进行InputFormat和InputSplit处理,然后通过RecordReader,将符合要求数据提供Mapper使用。
其中:
InputFormat:决定读取数据的格式,可以是文件或数据库等。
InputSplit:将输入文件进行逻辑分片,一个InputSplit分配一个独立Map任务。
注: a.Split的个数将决定Map的数量,大量的Mapper Task的创建开销是巨大的。所以应尽量避免小文件。InputSplit可以通过调用CombineFileInputFormat将若干个Split打包成一个Split。
b.通常一个split就是一个block(FileInputFormat仅仅拆分比block大的文件),这样做的好处是使得Map可以在存储有当前数据的节点上运行本地的任务,而不需要通过网络进行跨节点的任务调度。
2.maper
maper的主要功能是对输入的数据,根据需求进行处理,并将处理结果写入本地磁盘。maper阶段可以细分为:map、partition、buffer、spill、merge五个阶段。
2.1 map
mapReduce框架会对inputSplit中的每个键值对调用一次map,经map处理后,会得到一个新的(key,value)键值对。根据需求,需重写map函数。
2.2 partition:分区
partition的作用就是根据map输出的key和value以及reduce的数量来决定当前这对输出数据最终由哪个reduce task来处理。默认的处理方式:对key hash后再对reduce task数量取模。也可根据要求,重写Partitioner函数。
2.3 buffer:内存缓冲区
当数据经map、partition处理之后,产生的结果不会直接写入本地磁盘,而是写入一个环形内存缓冲区。每个map都会对应一个内存缓冲区。默认100M。
注:写入内存缓冲去的内容不仅包括map解析出的键值对,还包括Partitioner操作得到的分区元数据。
2.4 spill 溢写
当内存缓冲区内的数据达到阈值80M(可设)时,将启动一独立线程来将缓冲区数据写入本地磁盘,此过程成为溢写。此时并不影响往剩余20M的内存缓冲区里继续写入数据。
在执行spill的过程中,还会执行sort和combiner过程(combiner可选)。先对需要spill的数据进行排序,然后如果配置了combiner,则还会执行数据的合并。(combiner可以有效减小写入本地磁盘的数据量)。
2.5 merge
当本节点的map任务处理完成后,本地磁盘中可能会存在很多的溢写文件。所以需要将多份溢写文件合并成一份,在次过程中,如果开启combiner,会再次对文件中相同的key值进行数据合并。