storm操作zookeeper的主要函数都定义在命名空间backtype.storm.cluster中(即cluster.clj文件中)。 backtype.storm.cluster定义了两个重要protocol:ClusterState和StormClusterState。clojure中的p...
分类:
其他好文 时间:
2014-08-30 13:48:29
阅读次数:
154
近期遇到一些同学询问Storm-0.9.2-incubating源代码编译打包的问题,现将编译步骤说明例如以下:1、凝视掉project各pom文件里关于maven插件(maven-gpg-plugin)的内容,目的是规避错误:当然,该错误也能够忽略,即能够不进行上述凝视操作2、在project根文...
分类:
其他好文 时间:
2014-08-29 22:34:08
阅读次数:
300
storm操作zookeeper的主要函数都定义在命名空间backtype.storm.cluster中(即cluster.clj文件中)。backtype.storm.cluster定义了两个重要protocol:ClusterState和StormClusterState。clojure中的pr...
分类:
其他好文 时间:
2014-08-26 22:38:32
阅读次数:
354
在nimbus 节点上执行 “nohup jstorm nimbus &”, 查看$JSTORM_HOME/logs/nimbus.log检查有无错误 在supervisor节点上执行 “nohup jstorm supervisor &”, 查看$JSTORM_HOME/logs/supervisor.log检查有无错误...
分类:
Web程序 时间:
2014-08-26 11:59:36
阅读次数:
427
storm定时器timer源码分析-timer.clj
分类:
其他好文 时间:
2014-08-24 16:34:22
阅读次数:
265
(reify DistributedRPC$Iface (^String execute [this ^String function ^String args] (log-debug "Received DRPC request for " function " " args " at " (Sy...
分类:
其他好文 时间:
2014-08-23 02:14:09
阅读次数:
221
一、概述
Storm Trident中的核心数据模型就是“Stream”,也就是说,Storm Trident处理的是Stream,但是实际上Stream是被成批处理的,Stream被切分成一个个的Batch分布到集群中,所有应用在Stream上的函数最终会应用到每个节点的Batch中,实现并行计算,具体如下图所示:
在Trident中有五种操作类型:
A...
本章描述:对于Protocol的封装 package?com.digitalpebble.storm.crawler.fetcher;
import?com.digitalpebble.storm.crawler.util.Configuration;
public?interface?Protocol?{
????public?Protoco...
分类:
其他好文 时间:
2014-08-21 19:45:55
阅读次数:
147
package?com.digitalpebble.storm.crawler;
import?backtype.storm.Config;
import?backtype.storm.metric.MetricsConsumerBolt;
import?backtype.storm.metric.api.IMetricsConsumer;
import?backtype.st...
分类:
其他好文 时间:
2014-08-21 17:25:44
阅读次数:
185
阅读背景:1 您需要了解什么是dubbo,如何使用dubbo拆分服务 ? ? ? ? ? ? ? ? 2:您需要了解如何将所需要的服务注册到dubbo ? ? ?????????? ?3: 您还可能需要了解如何使用zookeeper 本章主...
分类:
其他好文 时间:
2014-08-21 15:23:14
阅读次数:
216