标签：style color java 使用 io strong 文件 数据
原理：
Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer。
Mapper和Reducer都是可执行文件，它们从标准输入读入数据（一行一行读）， 并把计算结果发给标准输出。Streaming工具会创建一个Map/Reduce作业， 并把它发送给合适的集群，同时监视这个作业的整个执行过程。
如果一个可执行文件被用于Mapper，则在Mapper初始化时， 每一个Mapper任务会把这个可执行文件作为一个单独的进程启动。 Mapper任务运行时，它把输入切分成行并把每一行提供给可执行文件进程的标准输入。 同时，Mapper收集可执行文件进程标准输出的内容，并把收到的每一行内容转化成key/value对，作为Mapper的输出。 默认情况下，一行中第一个tab之前的部分作为key，之后的（不包括tab）作为value。 如果没有tab，整行作为key值，value值为null。不过，这可以定制，在下文中将会讨论如何自定义key和value的切分方式。
如果一个可执行文件被用于Reducer，每个Reducer任务会把这个可执行文件作为一个单独的进程启动。 Reducer任务运行时，它把输入切分成行并把每一行提供给可执行文件进程的标准输入。 同时，reducer收集可执行文件进程标准输出的内容，并把每一行内容转化成key/value对，作为reducer的输出。 默认情况下，一行中第一个tab之前的部分作为key，之后的（不包括tab）作为value。在下文中将会讨论如何自定义key和value的切分方式。
用法：
Usage: $HADOOP_HOME/bin/hadoop jar \
$HADOOP_HOME/contrib/streaming/hadoop-*-streaming.jar [options]
options：
（1）-input：输入文件路径
（2）-output：输出文件路径
（3）-mapper：用户自己写的mapper程序，可以是可执行文件或者脚本
（4）-reducer：用户自己写的reducer程序，可以是可执行文件或者脚本
（5）-file：打包文件到提交的作业中，可以是mapper或者reducer要用的输入文件，如配置文件，字典等。
（6）-partitioner：用户自定义的partitioner程序
（7）-combiner：用户自定义的combiner程序（必须用java实现）
（8）-D：作业的一些属性（以前用的是-jonconf），具体有：
1）mapred.map.tasks：map task数目
2）mapred.reduce.tasks：reduce task数目
3）stream.map.input.field.separator/stream.map.output.field.separator： map task输入/输出数
据的分隔符,默认均为\t。
4）stream.num.map.output.key.fields：指定map task输出记录中key所占的域数目
5）stream.reduce.input.field.separator/stream.reduce.output.field.separator：reduce task输入/输出数据的分隔符，默认均为\t。
6）stream.num.reduce.output.key.fields：指定reduce task输出记录中key所占的域数目
源码：
PipeMapper extends PipeMapRed
PipeMapRed有一个configure方法，里面建立了ProcessBuilder对象
builder，然后用clientOut_指向Process的输出，也就是对应着Process的输入，用clientIn_连接Process的输入，也就是对应着Process的输出。
PipeMapper有个map函数，MROutputThread从Process的输出中用clientIn_获取结果。
Hadoop Streaming的早先版本只支持文本格式数据，后面增加了对二进制文件的支持。RawBytes和TypedBytes。
Hadoop Streaming总结,布布扣,bubuko.com
标签：style color java 使用 io strong 文件 数据
原文地址：http://www.cnblogs.com/scofield0li/p/3924685.html
