Storm,核心代码使用clojure书写,实用程序使用python开发,使用java开发拓扑。 Nimbus节点接收到请求,对提交的拓扑进行分片,分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上,supervisor会去zookeeper集群上领自己...
分类:
其他好文 时间:
2015-04-12 14:33:28
阅读次数:
3522
Storm并发配置的优先级: defaults.yaml < storm.yaml < topology-specific configuration < internal component-specific configuration < external component-specific ...
分类:
其他好文 时间:
2015-04-12 14:32:31
阅读次数:
137
分布式的实时计算框架,storm对于实时计算的意义类似于hadoop对于批处理的意义。 Storm的适用场景: 1.流数据处理:storm可以用来处理流式数据,处理之后将结果写到某个存入中去。 2.持续计算:连续发送数据到客户端,使它们能够实时更新并显示结果,如网站指标 3.分布式RPC:由于sto...
分类:
其他好文 时间:
2015-04-12 10:34:30
阅读次数:
161
实时商务智能这一构想早已算不得什么新生事物(早在2006年维基百科中就出现了关于这一概念的页面)。然而尽管人们多年来一直在对此类方案进行探讨,我却发现很多企业实际上尚未就此规划出明确发展思路、甚至没能真正意识到其中蕴含的巨大效益。为什么会这样?一大原因在于目前市场上的实时商务智能与分析工具仍然非常有...
分类:
其他好文 时间:
2015-04-11 23:48:15
阅读次数:
233
在Storm的集群里面有两种节点:控制节点和工作节点,控制节点上面运行Nimbus进程,Nimbus负责在集群里面分配计算任务,并且监控状态。每一个工作节点上面运行Supervisor进程,Supervisor负责监听从Nimbus分配给它执行的任务,Nimbus和Supervisor之间的所有协调...
分类:
其他好文 时间:
2015-04-09 15:03:31
阅读次数:
125
Git配置git config --global user.name "storm"git config --global user.email "stormzhang.dev@gmail.com"git config --global color.ui truegit config --globa...
分类:
其他好文 时间:
2015-04-08 21:10:45
阅读次数:
156
Kafka+Storm+HDFS整合实践本文导读:1 前言2 Kafka安装配置3 Storm安装配置4 整合Kafka+Storm5 整合Storm+HDFS6 整合Kafka+Storm+HDFS7 参考链接
分类:
其他好文 时间:
2015-04-08 16:21:02
阅读次数:
127
关于什么是Akka本文就不再细说了,可见以下文章:
分布式应用框架Akka快速入门
Storm Akka Finagle对比及使用场景分析
Akka 对比 Storm
本文采用一个“Ping-Pong”(打乒乓球)的Demo进行尝试:
1.首先要定义两个Actor, 相互打。
2.然后要定义流程:初始化,一方发球,然后相互打回合。
3.还需要定义每个消息的结构。...
分类:
其他好文 时间:
2015-04-08 13:16:54
阅读次数:
134
android环境搭建完成之后需要配置android环境变量,这对以后的运行调试很有帮助。下面我将一下mac环境下的配置步骤:1.在本地目录(home directory)中创建文件.bash_profile2.在文件中写入以下内容:export ANDROID_HOME=/Users/storm/...
分类:
数据库 时间:
2015-04-07 19:20:03
阅读次数:
175
一 Storm安装环境 请首先确认安装jdk,python等 1, ZeroMQ安装 官网下载stable版本,本例:wget http://www.download.zeromq.org/zeromq-4.0.5.tar.gz tar -xzf zeromq-4.0.5.tar.gz cd zeromq-4.0.5 ./configure ...
分类:
其他好文 时间:
2015-04-06 11:36:19
阅读次数:
152