码迷,mamicode.com
首页 > 其他好文 > 详细

大数据入门第七天——MapReduce详解(下)

时间:2018-02-01 00:15:28      阅读:168      评论:0      收藏:0      [点我收藏+]

标签:inpu   task   文件的   form   com   its   job   并行   描述   

一、mapTask并行度的决定机制 

  1.概述

  一个job的map阶段并行度由客户端在提交job时决定

  而客户端对map阶段并行度的规划的基本逻辑为:

    将待处理数据执行逻辑切片(即按照一个特定切片大小,将待处理数据划分成逻辑上的多个split,然后每一个split分配一个mapTask并行实例处理 

  这段逻辑及形成的切片规划描述文件,由FileInputFormat实现类的getSplits()方法完成,其过程如下图:

  技术分享图片

   // 完整的笔记介绍,参考:http://blog.csdn.net/qq_26442553/article/details/78774061

  2.FileInputFormat切片机制  

      a) 简单地按照文件的内容长度进行切片

    b) 切片大小,默认等于block大小

    c) 切片时不考虑数据集整体,而是逐个针对每一个文件单独切片

  

 

  相关的切片机制,可以参考相关博文http://blog.csdn.net/m0_37746890/article/details/78834603

                   http://blog.csdn.net/Dr_Guo/article/details/51150278

大数据入门第七天——MapReduce详解(下)

标签:inpu   task   文件的   form   com   its   job   并行   描述   

原文地址:https://www.cnblogs.com/jiangbei/p/8395045.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!