标签：
此文紧接MR-Job提交流程。上一篇分析可以看出，MR-Job提交过程的核心代码在于 JobSubmitter 类的 submitJobInternal()方法。本文就由此方法的这一句代码开始分析：
//计算并确定 map 的个数，以及各个输入切片 Splits 的相关信息 int maps = writeSplits(job, submitJobDir);
1.查看writeSplits()方法的实现过程：
private int writeSplits(org.apache.hadoop.mapreduce.JobContext job, Path jobSubmitDir) throws IOException, InterruptedException, ClassNotFoundException { JobConf jConf = (JobConf)job.getConfiguration(); int maps; if (jConf.getUseNewMapper()) { //决定map个数的关键性方法 maps = writeNewSplits(job, jobSubmitDir); } else { maps = writeOldSplits(jConf, jobSubmitDir); } //返回map个数 return maps; }
2.查看writeNewSplits()方法的实现过程：
//此方法返回int类型，即map的个数 //此方法实现倒着分析为好 private <T extends InputSplit> int writeNewSplits(JobContext job, Path jobSubmitDir) throws IOException, InterruptedException, ClassNotFoundException { Configuration conf = job.getConfiguration(); InputFormat<?, ?> input = ReflectionUtils.newInstance(job.getInputFormatClass(), conf); //List集合是由getSplits()方法生成 -->【核心代码】 List<InputSplit> splits = input.getSplits(job);
//array数组是由List<InputSplit>集合转化而来 -->查看List集合的定义 T[] array = (T[]) splits.toArray(new InputSplit[splits.size()]); // sort the splits into order based on size, so that the biggest // go first Arrays.sort(array, new SplitComparator()); JobSplitWriter.createSplitFiles(jobSubmitDir, conf, jobSubmitDir.getFileSystem(conf), array); //array数组的长度,即map的个数 -->查看array数组的定义 return array.length; }
3.查看getSplits()方法的实现
此方法是InputFormat 类的一个抽象方法。在其子类 FileInputFormat 类中为文件格式输入类型提供了统一的 getSplits()方法实现。
public List<InputSplit> getSplits(JobContext job) throws IOException {
//第一个参数返回值为 1;
//第二个参数是读取配置文件中的 mapreduce.input.fileinputformat.split.minsize 属性(默认值为 0),如果没有配置则返回 1.
//所以 minSize=Math(1,0),即值是 1
long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
//读取配置文件中的 mapreduce.input.fileinputformat.split.maxsize 属性(默认没有配置)
//如果没有配置则返回 long.MAX_VALUE
long maxSize = getMaxSplitSize(job); //定义 List 集合，用来存储输入分片 InputSplit
List<InputSplit> splits = new ArrayList<InputSplit>();
//变量 files 存储的是 "输入路径中所有的文件集合"
List<FileStatus> files = listStatus(job);
//循环处理每一个输入文件
for (FileStatus file: files) {
//获得文件路径
Path path = file.getPath();
//获得文件总长度
long length = file.getLen();
//判断文件是否为空
if (length != 0) { BlockLocation[] blkLocations; if (file instanceof LocatedFileStatus) {
//获得文件对应的 所有Block块的 位置
blkLocations = ((LocatedFileStatus) file).getBlockLocations(); } else { FileSystem fs = path.getFileSystem(job.getConfiguration()); blkLocations = fs.getFileBlockLocations(file, 0, length); }
//如果文件大小非空，并且文件允许被分割
if (isSplitable(job, path)) {
//获取配置文件中Block块的大小,默认128MB
long blockSize = file.getBlockSize();
//计算输入切片的大小【核心代码】
long splitSize = computeSplitSize(blockSize, minSize, maxSize); long bytesRemaining = length;
//while()循环体，按照 splitSize 对每个输入文件进行【逻辑切分】，得到 Splits 集合
while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) { int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
//参数列表：文件所在路径、切片起始的位置、切片大小、切片所在节点
splits.add(makeSplit(path, length-bytesRemaining, splitSize, blkLocations[blkIndex].getHosts())); bytesRemaining -= splitSize; } //如果block中剩下的一小段数据量小于splitSize，还是认为它是独立的分片 if (bytesRemaining != 0) { int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining); splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining, blkLocations[blkIndex].getHosts())); } } else { //文件不能切分则将整个文件作为一个输入分片 InputSplit splits.add(makeSplit(path, 0, length, blkLocations[0].getHosts())); } } else { //输入文件为空,则对应的 Block块 所在节点也应该为空 splits.add(makeSplit(path, 0, length, new String[0])); } } // Save the number of input files for metrics/loadgen job.getConfiguration().setLong(NUM_INPUT_FILES, files.size()); LOG.debug("Total # of splits: " + splits.size()); return splits; }
4.查看computeSplitSize()方法的具体实现：
protected long computeSplitSize(long blockSize, long minSize, long maxSize) {
//对于默认情况，三个参数分别为:1,long.MAX_VALUE,128MB
//所以,表达式整体返回 128MB
return Math.max(minSize, Math.min(maxSize, blockSize)); }
所以，影响 map 任务数量的因素在于以上三个参数的设置：
Map 个数 = 文件大小 / 128M Reduce 个数 = 分区 Partitioner 个数 = 最终输出文件个数
注意：特殊压缩的 map 切分【即不可切分文件】
例题：假设 HDFS 上有一个大小 75MB 的文件，当客户端设置 Block 大小为 64MB。则运行 MR 任务读取该文件时 input-split 大小为多少？
1) 如果该文件是普通文件，则应该是两个 Input-Split 分片：64MB 和 11MB。
2) 如果该文件是 gzip 等压缩包格式的文件，则只有一个 Input-Split 分片：75MB。
标签：
原文地址：http://www.cnblogs.com/skyl/p/4746662.html
