概念
大数据时代的数据分析任务比传统的数据分析任务要复杂，因为往往涉及的数据量巨大。通常来讲，我们的笔记本电脑可以同时干很多事儿，而对于大规模的数据处理任务来说，就不是一台电脑同时做许多任务了，而是许多电脑同时做一件任务的逻辑关系。这就引入了并行计算的概念。
许多电脑同时做一件复杂的任务，涉及很多问题：比如，
- 这个任务首先要分解成许多子任务
- 然后这些小任务要在这些电脑上面去分配
- 然后这些电脑完成了任务之后反馈的结果还要汇总
- 同时还要考虑如果这些电脑的故障异常等问题怎么去解决
MapReduce就是这样的一个编程模型，一个复杂的任务按照这个抽象的模型去实现，就可以有效进行并行计算。
在MapReduce中有两类机器：（1）Master，负责调度，相当于工地的工头；（2）Worker，相当于干活的工人。Worker进一步分为两种：一种是Mapper，另一种叫Reducer
一个例子
其实我们可以从word count这个实例来理解MapReduce。MapReduce大体上分为六个步骤：input, split, map, shuffle, reduce, output。细节描述如下：
输入(input)：如给定一个文档，包含如下四行：
Hello Java
Hello C
Hello Java
Hello C++拆分(split)：将上述文档中每一行的内容转换为key-value对，即：
0 - Hello Java
1 - Hello C
2 – Hello Java
3 - Hello C++映射(map)：将拆分之后的内容转换成新的key-value对，即：
(Hello , 1)
(Java , 1)
(Hello , 1)
(C , 1)
(Hello , 1)
(Java , 1)
(Hello , 1)
(C++ , 1)派发(shuffle)：将key相同的扔到一起去，即：
(Hello , 1)
(Hello , 1)
(Hello , 1)
(Hello , 1)
(Java , 1)
(Java , 1)
(C , 1)
(C++ , 1)
注意：这一步需要移动数据，原来的数据可能在不同的datanode上，这一步过后，相同key的数据会被移动到同一台机器上。最终，它会返回一个list包含各种k-value对，即：
{ Hello: 1,1,1,1}
{Java: 1,1}
{C: 1}
{C++: 1}缩减(reduce)：把同一个key的结果加在一起。如：
(Hello , 4)
(Java , 2)
(C , 1)
(C++,1)输出(output): 输出缩减之后的所有结果。
Hadoop 生态圈
Hadoop是一个开发和运行大规模数据分析程序的软件平台,是隶属Apache的一个用java语言实现的开源软件框架，在大量普通服务器组成的集群中对海量数据进行分布式计算。
HDFS——Hadoop生态圈的基本组成部分是Hadoop分布式文件系统（HDFS）。HDFS是一种数据分布式保存机制，数据被保存在计算机集群上。HDFS为HBase等系统提供了基础。
MapReduce——Hadoop的主要执行框架是MapReduce，它是一个分布式、并行处理的编程模型。MapReduce把任务分为map(映射)阶段和reduce(化简)。开发人员基于存储在HDFS中数据，编写Hadoop的MapReduce任务。由于MapReduce工作原理的特性， Hadoop能以并行的方式访问数据，从而实现快速访问数据。
Hbase——HBase是一个建立在HDFS之上，面向列的NoSQL数据库，用于快速读/写大量数据。HBase使用Zookeeper进行管理，确保所有组件都正常运行。
Zookeeper——用于Hadoop的分布式协调服务。Hadoop的许多组件依赖于Zookeeper，它运行在计算机集群上面，用于管理Hadoop操作。
Oozie——Oozie是一个可扩展的工作体系，集成于Hadoop的堆栈，用于协调多个MapReduce作业的执行。它能够管理一个复杂的系统，基于外部事件来执行，外部事件包括数据的定时和数据的产出。
Pig——它是MapReduce编程的复杂性的抽象。Pig平台包括运行环境和用于分析Hadoop数据集的脚本语言(Pig Latin)。其编译器将PigLatin翻译成MapReduce程序序列。
Hive——Hive类似于SQL高级语言，用于运行基于Hadoop的查询语句，Hive让不熟悉MapReduce开发人员也能编写数据查询语句，然后这些语句被翻译为Hadoop上面的MapReduce任务。像Pig一样，Hive作为一个抽象层工具，吸引了很多熟悉SQL而不是Java编程的数据分析师。
