1. 自定义inputFormat 1.1 需求 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案 1.2 分析 小文件的优化无非以下几种方式： 1、 在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS 2、 在 ...
分类：
其他好文 时间：
2017-09-18 22:29:00
阅读次数：
276
输入格式 1、输入分片与记录 2、文件输入 3、文本输入 4、二进制输入 5、多文件输入 6、数据库格式输入 1、输入分片与记录 1、JobClient通过指定的输入文件的格式来生成数据分片InputSplit。 2、一个分片不是数据本身，而是可分片数据的引用。 3、InputFormat接口负责生 ...
分类：
其他好文 时间：
2017-07-16 15:45:16
阅读次数：
234
MapReduce内部逻辑 Split：HDFS 中的数据以 Split 方式作为 MapReduce 的输入 Block 是 HDFS 术语，Split 是 MapReduce 术语 通常1个 Split 对应1个 block，也可能对应多个block，具体是由 InputFormat 和压缩格式 ...
分类：
其他好文 时间：
2017-05-10 21:19:00
阅读次数：
145
Hadoop学习笔记总结 01. InputFormat和OutFormat 1. 整个MapReduce组件 InputFormat类和OutFormat类都是抽象类。可以实现文件系统的读写，数据库的读写，服务器端的读写。这样的设计，具有高内聚、低耦合的特点。 2. 提交任务时，获取split切片 ...
分类：
其他好文 时间：
2017-04-27 23:20:39
阅读次数：
356
转自：http://blog.csdn.net/jackydai987/article/details/6226108 系统默认的TextInputFormat.Java [java] view plain copy public class TextInputFormat extends File ...
分类：
其他好文 时间：
2017-01-10 22:25:10
阅读次数：
280
先上图，下图描绘了一个mapreduce程序的的一般运行过程和需要经过的几个阶段 大体上我们可以将mapreduce程序划分为inputformat ，map ，shuffle，reduce，outputformat五个阶段，下面我们会详细介绍各个阶段的具体的运行细节 以最简单的wordcount程 ...
分类：
其他好文 时间：
2016-11-21 23:17:04
阅读次数：
414
一、输入格式 （1）输入分片记录 ①JobClient通过指定的输入文件的格式来生成数据分片InputSplit； ②一个分片不是数据本身，而是可分片数据的引用； ③InputFormat接口负责生成分片； 源码位置：org.apache.hadoop.mapreduce.lib.input包(新) ...
分类：
其他好文 时间：
2016-10-14 00:03:45
阅读次数：
438
1. map任务处理1.1 读取输入文件内容，解析成key、value对。对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数。wcjob.setInputFormatClass(TextInputFormat.class);InputFormat接口提供了两个方法来实现M ...
分类：
其他好文 时间：
2016-10-10 20:16:53
阅读次数：
162
好的，现在，来weekend110的textinputformat对切片规划的源码分析， Inputformat默认是textinputformat，一通百通。 ...
分类：
其他好文 时间：
2016-09-23 23:12:49
阅读次数：
184
mapreducer计算原理 InputFormat InputFormat的默认实现是TextInputFormat InputSplit 是mapreducer对文件进行处理和运算的输入单位。只是一个逻辑概念。每一个InputSplit并没有对文件进行实际的切割。只是记录了要处理文件的位置信息（ ...
分类：
其他好文 时间：
2016-08-19 18:50:32
阅读次数：
294
