场景伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索 场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦,相反,如果这个宝贝要等到第二天或者更 久才可以被...
分类:
其他好文 时间:
2014-11-13 14:26:37
阅读次数:
229
目录[-]1、准备工作2、一个Storm集群的基本组件3、Topologies4、Stream5、数据模型(Data Model)6、一个简单的Topology7、流分组策略(Stream grouping)8、使用别的语言来定义Bolt9、可靠的消息处理10、单机版安装指南本文翻译自:https:...
分类:
其他好文 时间:
2014-11-13 12:27:27
阅读次数:
371
Storm是什么 如果只用一句话来描述storm的话,可能会是这样:分布式实时计算系统。按照storm作者的说法,storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道,根据google mapreduce来实现的hadoop为我们提供了map, reduce原语,使我们的批处理...
分类:
其他好文 时间:
2014-11-12 19:31:07
阅读次数:
260
PartitionManager算是storm-kafka核心的代码了,主要负责message读取、发送、容错处理等等...
分类:
其他好文 时间:
2014-11-09 22:18:01
阅读次数:
435
详细介绍如何自定义KafkaSpout发射的message...
分类:
其他好文 时间:
2014-11-08 15:21:19
阅读次数:
174
详细分析了KafkaSpout的一些代码,希望能够帮助一下人,同时也是自己看代码的一个总结。...
分类:
Web程序 时间:
2014-11-08 15:20:40
阅读次数:
518
详细介绍了Storm-Kafka模块中Config的相关配置信息,就是扫盲的一篇介绍而已...
分类:
其他好文 时间:
2014-11-08 15:19:54
阅读次数:
220
上一节介绍了config的相关信息,这一节说下如何创建一个KafkaSpout而已...
分类:
Web程序 时间:
2014-11-08 15:19:01
阅读次数:
311
Async loop died! 重启任务后发现任务一直异常,日志中有大量reconnect。 b.s.m.n.Client [INFO] Reconnect started for Netty-Client-192.168.1.2/192.168.1.21:6724... [26] telnet到对应级机器的6724端口,连接...
分类:
其他好文 时间:
2014-11-07 15:10:50
阅读次数:
127
storm实时处理实例设计方案,为初学者提供一个相对容易理解的实例。...
分类:
其他好文 时间:
2014-11-06 22:03:30
阅读次数:
241