技术课题 Docker/Kubernetes Spring Boot / Spring Cloud Zookeeper Elasticsearch / Lucene /Solr Logstash Kibana Redis MongoDB Spark Storm / JStorm Dubbo/Thri ...
分类:
其他好文 时间:
2016-06-20 10:06:25
阅读次数:
219
一、简介 Storm是开源的分布式容错实时计算系统,目前被托管在GitHub上,遵循 Eclipse Public License 1.0。最初由BackType开发,现在已被Twitter收入麾下。Storm最新版本是Storm 0.9,核心采用Clojure实现。Storm为分布式实时计算提供了 ...
分类:
Web程序 时间:
2016-06-08 18:46:05
阅读次数:
309
一、简介 JStorm集群包含两类节点:主控节点(Nimbus)和工作节点(Supervisor)。其分别对应的角色如下:1. 主控节点(Nimbus)上运行Nimbus Daemon。Nimbus负责接收Client提交的Topology,分发代码,分配任务给工作节点,监控集群中运行任务的状态等工 ...
分类:
Web程序 时间:
2016-06-08 18:42:42
阅读次数:
366
一、简介 Supervisor是JStorm中的工作节点,类似于MR的TT,subscribe zookeeper的任务调度结果数据,根据任务调度情况启动/停止工作进程Worker。同时Supervisor需要定期向zookeeper写入活跃端口信息以便Nimbus监控。Supervisor不执行具 ...
分类:
Web程序 时间:
2016-06-08 18:40:33
阅读次数:
455
Jstorm是参考storm的实时流式计算框架,在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进,已被越来越多企业使用 作为commiter和user,我还是非常看好它的应用前景,下面是在团队内的分享介绍,更多请参考https://github.com/alibaba/jstorm 一、 ...
分类:
Web程序 时间:
2016-05-30 09:59:38
阅读次数:
450
本文研究一下jstorm使用cgroup做资源隔离的情况,github有文档:
https://github.com/alibaba/jstorm/wiki/%E8%B5%84%E6%BA%90%E7%A1%AC%E9%9A%94%E7%A6%BB
这个文档告诉你怎么开启cgroup,但对于不太了解cgroup和jstorm细节的同学可能更有兴趣看一下到底是怎么隔离的。
废话少说,你不是...
分类:
Web程序 时间:
2016-05-06 16:02:02
阅读次数:
303
在jdk1.8 的环境下,JStorm 启动nimbus时,会报如下异常: MaxTenuringThreshold of 20 is invalid; must be between 0 and 15 Error: Could not create the Java Virtual Machine
分类:
Web程序 时间:
2016-03-03 01:18:22
阅读次数:
610
RocketMQ 一款开源的高性能消息中间件,天猫双十一大促必备削峰填谷利器,峰值近万亿消息量。 https://github.com/alibaba/RocketMQ Corbar 基于Mysql的数据库服务中间件 https://github.com/alibaba/cobar JStorm 流
分类:
其他好文 时间:
2016-02-14 14:14:26
阅读次数:
214
有了基本的概念之后,我们用jstorm来做一点小事情吧 做一个很无聊的事情:给定一个时间戳,输出对应的问候语 规则是:时间戳的十位对应的数字对应不同的时间段,0-2代表早上,3代表中午,4-6代表下午,7-9代表晚上,分别输出早上,中午,下午和晚上。 我们用spout来发送时间戳,bolt来处理时间
分类:
Web程序 时间:
2016-01-30 22:40:21
阅读次数:
373
一、 Storm整体介绍 Storm 是一个类似Hadoop MapReduce的系统, 用户按照指定的接口实现一个任务,然后将这个任务递交给JStorm系统,Jstorm将这个任务跑起来,并且按7 * 24小时运行起来,一旦中间一个Worker 发生意外故障, 调度器立即分配一个新的Worker替
分类:
Web程序 时间:
2016-01-28 18:47:05
阅读次数:
177