什么是DRPC？分布式RPC（distributed RPC，DRPC）用于对Storm上大量的函数调用进行并行计算。对于每一次函数调用，Storm集群上运行的拓扑接收调用函数的参数信息作为输入流，并将计算结果作为输出流发射出去。一句话概括：Storm进行计算，根据客户端提交的请求参数，而返回Sto...
分类：
其他好文 时间：
2015-12-28 00:49:14
阅读次数：
275
mkdir-p/home/hadoop/zookeeper/da
tacd/home/hadoop/zookeeper/datadataDir=/home/hadoop/zookeeper/data
server.1=10.10.113.41:2888:3888
server.2=10.10.113.42:2888:3888
server.3=10.10.113.43:2888:3888#zookeeper
exportZOOKEEPER==/home/hadoop/zookeeper
PATH=$PATH:..
分类：
其他好文 时间：
2015-12-10 17:15:06
阅读次数：
225
Storm的典型用例有哪些呢？流处理：正如前面的例子中所展示的，和其他流处理系统不同的是，使用Storm不需要中间队列。连续计算：向客户端持续发送数据，以便它们能实时更新、显示结果，例如网站统计。分布式远程过程调用：可简单地并行运行CPU密集型操作。在Storm集群中有两种节点：主节点(master...
分类：
其他好文 时间：
2015-12-09 11:43:20
阅读次数：
174
最近将公司的在线业务迁移到Storm集群上，上线后遇到低峰期CPU耗费严重的情况。在解决问题的过程中深入了解了storm的内部实现原理，并且解决了一个storm0.9-0.10版本一直存在的严重bug，目前代码已经合并到了storm新版本中，在这篇文章里会介绍这个问题出现的场景、分析思路、解决的方式...
分类：
其他好文 时间：
2015-12-03 23:20:39
阅读次数：
343
2.1 Storm基本概念在运行一个Storm任务之前，需要了解一些概念：TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfiguration Storm集群和Hadoop集群表面上看很类似。但是Hadoo....
分类：
其他好文 时间：
2015-11-28 10:33:52
阅读次数：
289
This bug will kill supervisorsAffects Version/s:0.9.2-incubating,0.9.3,0.9.4Fix Version/s:0.10.0,0.9.5问题背景最近发现刚搭起的Storm集群，没过多久，Supervisor 便悄然死去了一大半。查看...
分类：
编程语言 时间：
2015-11-26 13:05:56
阅读次数：
230
1. 安装zookeeper集群http://www.cnblogs.com/stevenczp/p/4924420.html2. 在master上下载storm官方的release版本下载链接：http://storm.apache.org/downloads.html一开始我犯了个愚蠢的错误，把...
分类：
其他好文 时间：
2015-10-31 17:09:37
阅读次数：
358
本文会不断完善，今天开个头slot数量配置slot就是worker, 就是worker machine上的可运行的进程数，每个进程监听一个端口号。整个集群的slot的总数 = 所有supervisor上的监听端口port的数目之和建议是CPU总核数 - 1 。在24核服务器上，port数目应该最大是23才对。下面是20个的配置如下：supervisor.slots.ports:
-...
分类：
其他好文 时间：
2015-09-30 11:12:58
阅读次数：
253
前提条件安装了python 2.6.6和java 8创建帐号这个帐号是storm服务使用，将来也会成为HDFS的用户帐号之一。useradd dean创建公钥su - dean
ssh-keygen -t rsa -P '' 下载并解压wget https://github.com/apache/storm/archive/v0.10.0-beta1.tar.gz
tar zxvf v0.10....
分类：
其他好文 时间：
2015-09-29 13:14:38
阅读次数：
222
两个节点的storm集群：host01host02zknimbussupervisor启动集群：在host01上：/usr/local/storm/bin/storm nimbus在host02上：/usr/local/storm/bin/storm supervisor报错：2015-09-21T...
分类：
其他好文 时间：
2015-09-21 23:52:53
阅读次数：
384
