【Hadoop】Job提交全过程
一、作业提交过程之YARN
（1）作业提交
第0步：client调用job.waitForCompletion方法，向整个集群提交MapReduce作业
第1步：client向RM申请一个作业id
第2步：RM给client返回该job的资源的提交路径和作业id。
第3步：client提交jar包、切片信息和配置文件到指定的资源提交路径。
第4步：client提交完资源后，向RM申请MRAPPMaster。
（2）作业初始化
第5步：当RM收到client的请求后，将该job添加到容量调度器（capacity scheduler）中。
第6步：某一个空闲的NM领取到该job。
第7步：该NM创建Container，并产生MRAppMaster。
第8步：下载client提交的资源到本地。
（3）任务分配
第9步：MRAppMaster向RM申请多个maptask任务资源。
第10步：RM将运行maptask任务分配给另外两个NodeManager，两个NodeManager分别领取任务并创建容器
（4）任务运行
第11步：MRAppMaster向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。
第12步：MRAppMaster等待所有的maptask运行完毕后，向RM申请容器，运行reduce task
第13步：reduce task向maptask获取相应分区数据。
第14步：程序运行完毕后，MRAppMaster会向RM申请注销自己。
（5）进度和状态更新
YARN中的任务将其进度包括状态（包括counter）返回给应用管理器，客户端每秒（通过mapreduce.client.programpollinterval设置）向应用管理器请求进度更新，展示给用户。
（6）作业完成
除了向应用管理器请求作业进度外，客户端每5分钟都会通过调用waitForcompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后，应用管理器和container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查
