1.首先是map获取分片，分片的大小和分片规则取决于文件输入的格式，FileInputFormat是输入格式的一个基类，FileInputFormat下有几个重要的子类，分别是TextInputFormat，KeyValueTextInputFormat，NLineInputFormat等等，使用什 ...
分类：
其他好文 时间：
2017-08-18 17:12:32
阅读次数：
138
原我是这样写的 //输入数据所在的文件目录 FileInputFormat.addInputPath(job, new Path("/input/")); //mapreduce执行后输出数据目录 FileOutputFormat.setOutputPath(job, new Path("/outp ...
分类：
Web程序 时间：
2017-07-06 18:36:30
阅读次数：
374
Hadoop学习笔记总结 01. InputFormat和OutFormat 1. 整个MapReduce组件 InputFormat类和OutFormat类都是抽象类。可以实现文件系统的读写，数据库的读写，服务器端的读写。这样的设计，具有高内聚、低耦合的特点。 2. 提交任务时，获取split切片 ...
分类：
其他好文 时间：
2017-04-27 23:20:39
阅读次数：
356
在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。影响map个数（split个数）的主要因素有： 1) 文件的大小。当块（dfs.block.size）为128m时，如果输入文件为128m，会被划分为1个split；当块为256m ...
分类：
其他好文 时间：
2016-07-16 22:02:22
阅读次数：
378
前言 首先确保已经搭建好Hadoop集群环境，可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce任务时，发现相比于使用Job.setNumReduceTasks(int)控制reduce任务数量而言，控制map任务数量一直是一个困扰我的问题。好在经过很多摸索与实 ...
分类：
其他好文 时间：
2016-05-23 14:43:38
阅读次数：
300
TextInputFormat是Hadoop默认的数据输入格式,但是它只能一行一行的读记录，如果要读取多行怎么办？
很简单 自己写一个输入格式，然后写一个对应的Recordreader就可以了，但是要实现确不是这么简单的首先看看TextInputFormat是怎么实现一行一行读取的大家看一看源码public class TextInputFormat extends FileInputFormat...
分类：
其他好文 时间：
2016-05-03 22:19:41
阅读次数：
304
小文件导致任务执行缓慢的原因： 1.很容易想到的是map task 任务启动太多，而每个文件的实际输入量很小，所以导致了任务缓慢 这个可以通过 CombineTextInputFormat，解决，主要需要设置 mapreduce.input.fileinputformat.split.maxsize ...
分类：
其他好文 时间：
2016-04-18 11:35:11
阅读次数：
139
前言
首先确保已经搭建好Hadoop集群环境，可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce任务时，发现相比于使用Job.setNumReduceTasks(int)控制reduce任务数量而言，控制map任务数量一直是一个困扰我的问题。好在经过很多摸索与实验，终于梳理出来，希望对在工作中进行Hadoop进行性能调优的新人们有个借鉴。本文只针对FileI...
分类：
其他好文 时间：
2016-04-12 17:23:55
阅读次数：
173
居然没有把这个目录，之前还想爆粗口的，还是算了。 上苷酸菜： 1.对于mapreduce中FileInputFormat只输入input文件根目录的方法尝试。 很简单好吧： step1： FileInputFormat.addInputPaths(job, paths); step2： String
分类：
其他好文 时间：
2016-01-29 16:24:09
阅读次数：
112
MapReducer源码解析（笔记） 第一步，读取数据源，将每一行内容解析成一个个键值对，每个键值对供map函数定义一次，数据源由FileInputFormat:指定的，程序就能从地址读取记录，读取的记录每一行内容是如何转换成一个个键值对？Mapper函数是如何调用键值对？这是由InputForma...
分类：
其他好文 时间：
2015-09-12 13:33:48
阅读次数：
286
