Hadoop旧版中InputSplit的个数由下面三个参数决定：
goalSize：totalSize/numSpilt.totalSize为文件大小，numSplit为用户设定的map task个数，默认为1.
minSize：InputSplit的最小值，由配置参数 mapred.min.split.size,默认为1.
blockS...
分类：
其他好文 时间：
2015-05-26 12:47:23
阅读次数：
218
列举出hadoop常用的一些InputFormat InputFormat是用来对我们的输入数据进行格式化的.TextInputFormat是默认的.InputFormat有哪些类型? DBInputFormat,DelegatingInputFormat,FileInputFormat,常用...
分类：
数据库 时间：
2015-05-15 07:53:10
阅读次数：
752
Mapper任务的执行过程:第一阶段是把输入文件按照一定的标准分片(InputSplit)，每个输入片的大小是固定的。默认情况下，输入片(InputSplit)的大小与数据块(Block)的大小是相同的。如果数据块(Block)的大小是默认值64MB，输入文件有两个，一个是32MB，一个是72MB。...
分类：
其他好文 时间：
2015-04-23 12:54:18
阅读次数：
178
最顶级是InputFormat抽象类 ，该类定义了两个方法，方法getSplits是负责切分输入文件(们)的，把很多的输入文件(们)切分成很多的输入分片，切分规则就是在这里定义的，每个InputSplit对应一个Mapper任务。方法createRecordReader是负责把getSplits生成...
分类：
其他好文 时间：
2015-04-23 12:22:19
阅读次数：
202
InputSplit 有三个方法1.getLengh(),为了获取字节长度2.getLocations()，获取地址，在哪个节点3.该方法返回空，返回类型是可支持在内存中存储，或者磁盘存储。可以看出未来mapreduce有希望支持内存存储数据。@Evolving public SplitLocati...
分类：
其他好文 时间：
2015-04-22 09:23:45
阅读次数：
248
MapReduce作业读取文件Map任务数量由InputSplit决定，InputSplit分片大小默认是HDFS块大小（hadoop1.x=64mb，hadoop2.x是128mb）。例如： MapReduce作业读取HDFS上（hadoop2.x）两个文件，一个是200MB，一个是100MB，....
分类：
其他好文 时间：
2015-03-21 21:09:37
阅读次数：
168
Hadoop Map/Reduce框架为每一个InputSplit产生一个map任务，而每个InputSplit是由该作业的InputFormat产生的。
然后，框架为这个任务的InputSplit中每个键值对调用一次 map(WritableComparable, Writable, OutputCollector, Reporter)操作。
通过调用 OutputCollector.col...
分类：
其他好文 时间：
2015-03-10 17:22:28
阅读次数：
216
Hadoop中决定map个数的的因素有几个，由于版本的不同，决定因素也不一样，掌握这些因素对了解hadoop分片的划分有很大帮助，并且对优化hadoop性能也很有大的益处。旧API中getSplits方法: 1 public InputSplit[] getSplits(JobConf job, i...
分类：
其他好文 时间：
2015-03-09 00:17:56
阅读次数：
345
本篇文章讲述了InputFormat及其子类，并结合源代码详细分析了FileInputFormat如何读取InputSplit及处理行跨越两个InputSplit的问题...
分类：
其他好文 时间：
2015-01-13 17:43:29
阅读次数：
275
/** ?? * Generate the list of files and make them into FileSplits. ?? * @param job the job context ?? * @throws IOException ?? */ ? public List<InputSplit> getSplits(JobContext job) throws...
分类：
其他好文 时间：
2015-01-09 14:24:52
阅读次数：
203
