码迷,mamicode.com
首页 > 其他好文 > 详细

2017.4.12 数据处理

时间:2017-04-12 23:21:34      阅读:235      评论:0      收藏:0      [点我收藏+]

标签:trident   时间   写入   接口   bsp   store   tor   art   查看   

storm-starter中TridentHBaseWindowingStoreTopology最终存到hbase后数据的表现形式不是我们需要的,

该例子的row键不是可读字符串,value值看了底层源码像是经kryo编码序列化的结果,不懂。

而且使用的window接口太抽象,不知道怎么进行更精细的控制写hbase,

所以按照C:\Users\wash\Downloads\apache-storm-1.0.3\external\storm-hbase\src\test\java\org\apache\storm\hbase\trident\TridentWordCount.java

里的方法控制写hbase。首先要测试这个类,运行时报错,查看底层源码,百度,最终通过修改该类,该类运行成功,可以控制行键,但是写入hbase的值还是像编码后的值,不达要求。

 

对照着这个类把写hbase的部分移植到最终的工程中(还在进行)。

但是接口还不是很熟悉,对例子中的用法也不是很懂,还要花些时间弄懂这个常用接口的含义。

现在所用的全部是非透明性的state,使用两个storm第三方模块来实现。

2017.4.12 数据处理

标签:trident   时间   写入   接口   bsp   store   tor   art   查看   

原文地址:http://www.cnblogs.com/cenglinjinran/p/6701658.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!