许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（ma...
分类：
其他好文 时间：
2015-04-17 07:05:30
阅读次数：
152
storm的topology启动过程是执行strom jar topology1.jar MAINCLASS ARG1 ARG2鉴于前面已经分析了脚本的解析过程，现在重点分析topology1.jar的执行。以storm-starter中的ExclamationTopology为例，来进行剖析：pu...
分类：
其他好文 时间：
2015-04-16 19:46:05
阅读次数：
239
Storm并发配置的优先级： defaults.yaml < storm.yaml < topology-specific configuration < internal component-specific configuration < external component-specific ...
分类：
其他好文 时间：
2015-04-12 14:32:31
阅读次数：
137
Ryu拓扑发现的核心模块是ryu/topology目录下的switches.py，拓扑发现的应用是同目录下的dumper.py。在dumper.py中，会利用_CONTEXTS来实例化switches.py中的Switches类，然后将拓扑发现的相关信息通过日志方式（LOG.debug）显示。启动命令如下所示：
ryu-manager --verbose --observe-links ry...
分类：
其他好文 时间：
2015-04-08 16:35:47
阅读次数：
321
JStorm之Nimbus简介一、简介 JStorm集群包含两类节点：主控节点（Nimbus）和工作节点（Supervisor）。其分别对应的角色如下： 1. 主控节点（Nimbus）上运行Nimbus Daemon。Nimbus负责接收Client提交的Topology，分发代码，分配任务给工.....
分类：
Web程序 时间：
2015-04-07 13:26:49
阅读次数：
250
hop_to_compute_node利用hop_to_compute_node对互联网络中得节点进行粗粒度分类： 0 计算节点 1 边缘路由 >=2 核心路由这个值描述了相应节点与计算节点的距离，可以以此为依据，从仅仅给出邻接关系的topo结构中发现“树”(fat-tree, e.g.)结构...
分类：
其他好文 时间：
2015-03-30 11:14:40
阅读次数：
129
【原】storm源码之理解Storm中Worker、Executor、Task关系Storm在集群上运行一个Topology时，主要通过以下3个实体来完成Topology的执行工作：1. Worker（进程）2. Executor（线程）3. Task下图简要描述了这3者之间的关系： ...
分类：
其他好文 时间：
2015-03-28 23:08:08
阅读次数：
171
来自：http://blog.csdn.net/jmppok/article/details/17244599在创建Storm的Topology时，我们通常使用如下代码：builder.setBolt("cpp",newCppBolt(),3).setNumTasks(5).noneGrouping...
分类：
其他好文 时间：
2015-03-20 16:15:33
阅读次数：
111
topology在服务端提交过程中，会经过一系列的验证和初始化：TP结构校验、创建本地目录并拷贝序列化文件jar包、生成znode用于存放TP和task等信息，最后一步才进行任务分配，如下图：
提交主函数位于ServiceHandler.java中
private void makeAssignment(String topologyName, String topologyId,
...
分类：
Web程序 时间：
2015-03-16 19:21:04
阅读次数：
176
