1 流式计算 流式计算：数据实时产生、实时传输、实时计算、实时展示 代表技术：Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。 一句话总结：将源源不断产生的数据实时收集并实时计算，尽可能快的得到计算结 ...
分类：
其他好文 时间：
2018-01-24 12:41:12
阅读次数：
231
storm是一个分布式实时计算引擎 storm/Jstorm的安装、配置、启动差点儿一模一样 storm是twitter开源的 storm的特点 storm支持热部署，即时上限或下线app 能够在storm上使用各种编程语言如clojure、java、ruby、python等 本地模式：storm有 ...
分类：
其他好文 时间：
2018-01-17 21:59:04
阅读次数：
215
错误原因是：在打jar包的时候，把jstorm-core这个jar包也包含进去了，如下图： 打包时，移除该jar，再次部署即可。 或者： 在pom文件中修改storm-core的scope为provided 这样在idea打包时，就不会包含改 jar了。 小注： provided是表明了depend ...
分类：
编程语言 时间：
2018-01-08 16:46:08
阅读次数：
754
jstorm在使用kafka作为spout的时候，高并发的情况下会出现多线程报错问题 ...
分类：
编程语言 时间：
2017-08-06 12:46:32
阅读次数：
177
在Storm中IBasicBolt的主要作用是为用户提供一种更为简单的Bolt编写方式，更为简单体现在Storm框架本身帮你处理了所发出消息的Ack、Fail和Anchor操作，而这部分操作是由执行器BasicBoltExecutor 实现的。 下面我们看一下BasicBoltExecutor的源码 ...
分类：
Web程序 时间：
2017-08-02 10:21:55
阅读次数：
222
本文主要是解析SpoutOutputCollector源码，顺便分析该类中所涉及的设计模式–代理模式。 首先介绍一下Spout输出收集器接口–ISpoutOutputCollector,该接口主要声明了以下3个抽象方法用来约束ISpoutOutputCollector的实现类。接口定义与方法说明如下 ...
分类：
Web程序 时间：
2017-07-31 10:03:02
阅读次数：
249
EvenScheduler同DefaultScheduler一样,同样实现了IScheduler接口, 由下面代码可以看出: 它是通过调用schedule-topologies-evenly方法来完成任务分配的. schedule-topologies-evenly方法的具体定义如下: fn1: f ...
分类：
Web程序 时间：
2017-07-29 10:10:25
阅读次数：
450
Scheduler作为Storm的调度器,负责为Topology分配可用资源。 Storm提供了IScheduler接口,用户可以通过实现该接口来自定义Scheduler。 其定义如下: 真正选择哪个调度器来对Topology进行分配的方法是mk-assignments。 mk-assignment ...
分类：
Web程序 时间：
2017-07-28 16:43:29
阅读次数：
297
本人是spark的拥趸，因为工作中需要用到jstorm，作记录如下。 pom.xml <dependencies> <dependency> <groupId>com.alibaba.jstorm</groupId> <artifactId>jstorm-core</artifactId> <ver ...
分类：
Web程序 时间：
2017-06-15 18:59:09
阅读次数：
784
JStorm中的并行（ parallelismction ）介绍 JStrom中。一个计算任务通过多台机器使得计算分解为多个独立并行执行在集群内执行的任务（tasks）。从而得到水平扩展。JStorm中，一个任务（task）就是一个能够执行在集群内不论什么节点的一个spout或一个bolt实例。 要 ...
分类：
Web程序 时间：
2017-05-28 17:26:21
阅读次数：
870
