码迷,mamicode.com
首页 > 编程语言 > 详细

java程序,用于mapreduce处理数据

时间:2016-05-29 16:29:34      阅读:161      评论:0      收藏:0      [点我收藏+]

标签:

1、通过传统的key-value类分析数据

创建key类时,所有key都要继承writablecomparable接口

public class sendorkey implements writablecomparable

{

  default constructor+parameterized constructor

  implementation of readfields method

  implementation of write method

  overriding the compare to method

}

Sensorkey.java

技术分享

技术分享

技术分享

  SensorValue.java

技术分享

技术分享

技术分享

技术分享

【注明:默认构造函数对变量进行初始化设置

带参数的构造函数通过其参数值对类变量进行初始化设置

默认的readfields方法的参数为datainput,不管内容是什么,我们都是使用readfield方法来接受和传递输入到这个类中的数据,同理不论dataoutput的内容是什么,write方法都会输出这些数据

在compreto方法逻辑中,我们将对于不同的传感器进行比较

每个属性都含有一个get和set方法】

2、creating a customized recordreader class(如何创建自定义的recordreader类)

 技术分享

【注明:自定义recordreader会继承默认的recordreader,他的参数时自定义的key,value类型,在nextkeyvalue,我们从含有完整记录的reader获取当前值。记录中,根据TDB键拆分这些列,并把前三列赋给key类,同时也给value类赋值】

 3.creating a customized inputformat class

 技术分享

技术分享

技术分享

技术分享

java程序,用于mapreduce处理数据

标签:

原文地址:http://www.cnblogs.com/chenyaling/p/5539493.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!