标签：
因为我们的应用中处理的记录都是固定长度的，就是说所有数据都是由固定长度的记录构成的。这里用recordSize表示一个记录的大小，记录在处理处理过程中要保持完整性，所以在设置Split大小时，开始的实现代码为：
int blockSize = Integer.parseInt(args[0]); //args[0]为输入参数，表示用户希望设置的Split大小
int splitSize = blockSize / recordSize * recordSize;
conf.setLong("mapred.max.split.size",splitSize);
后来发现这样做是有问题的。因为splitSize的计算公式未：
splitSize=max(minSize,min(maxSize,blockSize))
其中blockSize为文件块大小。正确的做法如下：
int blockSize = Integer.parseInt(args[0]); //args[0]为输入参数，表示用户希望设置的Split大小
int splitSize = blockSize / recordSize * recordSize;
conf.setLong("mapred.max.split.size",splitSize);
conf.setLong("mapred.min.split.size",splitSize);
标签：
原文地址：http://www.cnblogs.com/hipercomer/p/4535455.html
