一个topology包含一或多个spout bolt，spout负责在数据源获得数据并发送给bolt，每个bolt负责做完处理后发给下一个bolt。通常topology的创建是由TopologyBuilder来创建的，该组件会记录包含哪些spout bolt，并做相应验证：各组件是否有id冲突,校验方法如下：
private void validateUnusedId(String id) {
...
分类：
Web程序 时间：
2015-01-16 16:47:39
阅读次数：
335
Supervisor中文翻译是监督者，意思简单明了，就是对资源进行监控，其实主要是woker资源。该组件所做的事情概括如下：
1、每隔一段时间发送心跳证明自己还活着
2、下载新的topology
3、释放无效的woker
4、分配新的任务
该组件主要包含：心跳线程、supervisor事件接受线程、处理线程，一旦事件接受到则会进入任务分配环节，主要逻辑...
分类：
Web程序 时间：
2015-01-14 16:52:28
阅读次数：
284
如要监控Storm集群和运行在其上的Topology，该如何做呢？
Storm已经为你考虑到了，Storm支持Thrift的C/S架构，在部署Nimbus组件的机器上启动一个Thrift Server进程来提供服务，我们可以通过编写一个Thrift Client来请求Thrift Server，来获取你想得到的集群和Topology的相关数据，来接入监控平台，如Zabbix等，我目前使用的就...
原文地址：http://storm.apache.org/documentation/Common-patterns.html
此文档有许明明的翻译：http://xumingming.sinaapp.com/189/twitter-storm-storm%E7%9A%84%E4%B8%80%E4%BA%9B%E5%B8%B8%E8%A7%81%E6%A8%A1%E5%BC%8F/
但...
分类：
其他好文 时间：
2015-01-13 17:49:27
阅读次数：
201
NimbusServer相当于hadoop里的JobTracker或yarn里的ResourceManager，在集群中属于首脑地位，负责分发任务，监控集群状态，与supervisor的通信主要通过Zookeeper。nimbus在启动过程中会做以下工作，以保证集群稳定运行：
1、清理无效topology
2、建立zk连接并创建相应znode
3、启动监控线程
4、启动httpserver...
分类：
Web程序 时间：
2015-01-13 15:58:30
阅读次数：
403
1、是什么构成一个可运行的topology? worker processes（worker进程），executors（线程）和tasks。 一台Storm集群里面的机器可能运行一个或多个worker进程，一个worker进程运行一个特定topology的executors。 一个worker...
分类：
其他好文 时间：
2015-01-06 15:27:01
阅读次数：
153
Qgs开发-拓扑分析
sf2gis@163.com
2014年10月22日
1 概述
拓扑分析一般是指地理元素之间的相关关系。一般是以基本的空间关系为基础，进行综合运算，计算元素之间的复杂关系，如空洞检查、重叠检查等。
参考：http://en.wikipedia.org/wiki/Geospatial_topology
http://en.wikipedia.org/wiki/...
分类：
其他好文 时间：
2014-12-29 12:12:00
阅读次数：
487
public class TabExample extends KJActivity { @BindView(id = R.id.bottombar_content1, click = true) public RadioButton mRbtn1; @BindView(id = ...
分类：
其他好文 时间：
2014-12-19 12:51:40
阅读次数：
160
1 Topology构成 和同样是计算框架的Mapreduce相比，Mapreduce集群上运行的是Job，而Storm集群上运行的是Topology。但是Job在运行结束之后会自行结束，Topology却只能被手动的kill掉，否则会一直运行下去。 Storm集群中有两种节点，一种是控制节点(Ni...
分类：
其他好文 时间：
2014-12-18 11:56:38
阅读次数：
180
kvm性能优化
kvm性能优化，主要集中在cpu、内存、磁盘、网络，4个方面，当然对于这里面的优化，也是要分场景的，不同的场景其优化方向也是不同的，下面具体聊聊这4个方面的优化细节。
cpu
在介绍cpu之前，必须要讲清楚numa的概念，建议先参考如下两篇文章
CPU Topology
玩转cpu-topology
查看cpu信息脚本：
#!/bin/bash
# Simple p...
分类：
其他好文 时间：
2014-12-17 21:02:13
阅读次数：
379
