标签：编写   hdf   计算   大数据   line   exp   数据   bsp   apr   

• MapReduce计算流程

　　1  首先是通过程序员所编写的MR程序通过命令行本地提交或者IDE远程提交

　　2 一个MR程序就是一个Job，Job信息会给Resourcemanger，向Resourcemanger注册信息

• 3  在注册通过后，Job会拷贝相关的资源信息（从HDFS中）

  4 紧接着会向Resourcemanger提交完整的Job信息（包括资源信息）

  5a  Resourcemanger 会通过提交的Job信息，计算出Job所需的资源，为Job分配Container资源

  5b 计算资源会分发给对应的NodeManger，NodeManager会创建一个MRAppMaster

  6  MRAppMaster初始化Job

  7 获取输入切片信息

  8 MRAppMaster向ResourceManager 请求资源

  9a 启动计算资源（连接到对应的资源所在NodeManager）

  9b 启动YARN Child

  10 从文件系统中获取完整的Job信息

  11 启动对应的Maptask或者ReduceTask 进程，执行计算。

大数据-hadoop-MapReduce计算流程

标签：编写   hdf   计算   大数据   line   exp   数据   bsp   apr   

原文地址：https://www.cnblogs.com/blogs-gxData/p/11562824.html