码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop Avro支持多输入AvroMultipleInputs

时间:2015-08-27 20:59:09      阅读:259      评论:0      收藏:0      [点我收藏+]

标签:

Avro 提供了1.x版本的AvroMultipleInputs,但是不支持2.x API版本,因此修改对应代码,增加对hadoop 2.x API版本的的支持

代码放在https://github.com/jadepeng/AvroMultipleInputs/

使用方法和MultipleInputs类似,指定inputpath,key和value的SCHEMA,以及处理用的Mapper类即可

AvroMultipleInputs.addInputPath(job, new Path(inputPath),Schema.create(Schema.Type.STRING), 
						SingerItem.SCHEMA$, SingerItemMapper.class);

  

 

Hadoop Avro支持多输入AvroMultipleInputs

标签:

原文地址:http://www.cnblogs.com/xiaoqi/p/4764399.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!