InstallJStormTakejstorm-0.9.6.zipasanexampleunzipjstorm-0.9.6.1.zip
vi~/.bashrcexportJSTORM_HOME=/XXXXX/XXXX
exportPATH=$PATH:$JSTORM_HOME/binvi$JSTORM_HOME/conf/storm.yamlstorm.zookeeper.servers:-"192.168.144.79"-"192.168.145.138"-"192.168.145.129"nimbus.h..
分类：
Web程序 时间：
2015-12-02 01:15:15
阅读次数：
253
一．平台环境介绍:1．系统信息：项目信息系统版本:Ubuntu14.04.2LTS\n\l用户：*****密码：******Java环境：openjdk-7-jre语言：en_US.UTF-8，en_US:en磁盘：每台vda为系统盘(50G),vdb为数据盘(200G)挂载于/storage目录hcloud15最为DB，第二块磁盘为2000G主机范围：192.168.21.7..
分类：
数据库 时间：
2015-11-10 01:52:59
阅读次数：
1073
最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费...
分类：
Web程序 时间：
2015-10-15 20:36:00
阅读次数：
300
jstorm开发指南-写个简单的jstorm应用发表于 2015-07-18 | 分类于大数据 | 暂无评论jstorm 是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架，使用简单，特点如下：开发非常迅速: 接口简单，容易上手，只要遵守Topology，Spout， Bol....
分类：
Web程序 时间：
2015-10-15 20:28:13
阅读次数：
369
1上午学习了JStorm数据流组
spout和bolt都可以并发的执行多个任务，因此必须有一种方法指定哪个数据流路由到哪个spout/bolt，数据流组用来指定一个拓扑内的路由过程。
1) 随机数据流组，是比较常用的一种方式，它指定了一个参数——数据源组件，然后该数据源会向随机选择的bolt发送tuple，当然，JStorm会保证每个bolt接到任务的均衡性。实现方法:shuffleGr...
分类：
其他好文 时间：
2015-08-27 11:14:41
阅读次数：
153
kafka的并行度与JStorm性能优化
> Consumers
Messaging traditionally has two models: queuing and publish-subscribe. In a queue, a pool of consumers may read from a server and each message goes to one of th...
分类：
Web程序 时间：
2015-08-18 01:20:54
阅读次数：
1040
注意：JStorm马上融合到Strom内核了，这意味着以后没有Strom了。
配置executors和tasks（线程和实例）
请始终记得标题：executors和tasks（线程和实例），executors代表线程概念，tasks代表spout或bolt实例。
Storm默认会为每个组成（spout/bolt）创建一个任务（task），默认一个任务运行被一个线程（exe...
分类：
编程语言 时间：
2015-08-17 01:08:05
阅读次数：
144
1对Jstorm的认识与理解：
jstorm是一个类似于Hadoop MapReduce的分布式处理系统，用户向Jstorm提交一个任务，Jstorm将这个任务按7×24小时跑起来，如果运行过程中有一个worker发生意外故障，调度器会立即分配一个新的worker替代这个失效的worker继续运行任务。从数据角度来看，Jstorm是一套基于流水线的消息处理机制，随着人们对数据实时性处理的要求越来...
分类：
其他好文 时间：
2015-08-16 16:45:33
阅读次数：
147
今天结合JStorm官方Demo，进一步研磨学习了JStorm提交任务到分配任务的过程，下面是自己的一些认识与理解。
Topology是JStorm对有向无环图的抽象，其内部封装了数据源spout和数据处理对象bolt，以及spout和bolt、bolt和bolt之间的关系。
1) Demo中SequenceTopology对象的SetBuilder(TopologyBuilder b...
分类：
Web程序 时间：
2015-08-16 16:43:23
阅读次数：
237
在四台虚拟机上完成了Jstorm和Zookeeper集群的搭建，并向JStorm提交官方demo，运行成功。搭建过程中遇到的问题和解决方案：
1． 虚拟机上启动不了supervisor服务，经排查发现，是当前登录用户没有日志写入权限导致的，用sudo chown user:user –R *命令修改权限后，启动supervisor节点上的服务成功；
2． 如果JStorm的配置文件storm.y...
分类：
其他好文 时间：
2015-08-16 16:43:22
阅读次数：
176
