storm提交任务的过程： 1.客户端通过storm提交topology 2.nimbus主节点创建本地topology任务目录。tmp 3.nimbus监控zookeeper心跳，计算工作量。 4.nimbus向zookeeper分配任务。 5.从节点监控zk的数据，一旦有新任务分配，启动任务to ...
分类：
其他好文 时间：
2017-07-22 23:40:18
阅读次数：
245
1.Storm在zookeeper保存的数据结构 2.storm提交任务的过程 ...
分类：
其他好文 时间：
2017-07-22 14:40:42
阅读次数：
117
打包上传到集群上跑是没问题的，在本地模式跑，报客户端没有所需特权，此处客户端指的是MyEclipse，右击用管理员模式打开myclipse即可。 错误日志 ： ...
分类：
其他好文 时间：
2017-07-22 14:32:41
阅读次数：
199
Storm的数据从Spout采集后，交给Blot组件处理，数据在Blot之间流动时，会涉及到数据流动的方向。这就是Storm的分组策略。 从WordCount的单词拆分到单词计数，会使用按字段的分组策略来拆分单词，并分配到不同的Count Blot中计算。 ...
分类：
其他好文 时间：
2017-07-22 00:05:30
阅读次数：
197
由之前的学习，Storm的程序构成有Topology，Spout、Blot组成。 构建工程第一步 ：引入jar，把storm集群中的/usr/local/apps/apache-storm-1.0.3/lib目录jar包全部引入 ...
分类：
其他好文 时间：
2017-07-22 00:05:05
阅读次数：
208
WordCountTopology数据流分析（storm编程模型） 上一章的example的单词统计在storm的数据流动到底是怎么进行的呢，这一章节开始介绍； ...
分类：
其他好文 时间：
2017-07-21 01:17:44
阅读次数：
177
1.编辑host文件 vi /etc/hosts 三台主机同时修改 2.主节点上(storm)配置storm (1)解压 apache-storm-1.0.3 (2)设置环境变量 ： vi ~/.bash_profile (3)source ~/.bash_profile (4)创建tmp目录 ： ...
分类：
其他好文 时间：
2017-07-19 23:24:08
阅读次数：
217
?? Storm工作原理： Storm是一个开源的分布式实时计算系统，常被称为流式计算框架。什么是流式计算呢？通俗来讲，流式计算顾名思义：数据流源源不断的来，一边来，一边计算结果，再进入下一个流。比如一般金融系统一直不断的执行，金融交易、用户全部行为都记录进日志里，日志分析出站点运维、猎户信息。海量 ...
分类：
其他好文 时间：
2017-07-01 12:47:15
阅读次数：
200
安装环境： 虚拟操作系统：centOS7 64位 2台 IP地址为192.168.1.10 192.168.1.11 内存：1GB内存 zookeeper版本 ：3.4.6 Storm版本：0.9.6 安装步骤： 1、安装JDK等步骤省略。 1、下载storm安装包，解压。 1、配置/apache- ...
分类：
其他好文 时间：
2017-06-30 17:09:29
阅读次数：
209
搭建 Storm 集群的主要步骤 1. 搭建一个 Zookeeper 集群 2. 在 Nimbus 和所有工作机器（Supervisor）上安装 Storm 依赖的软件 Python-2.7.2 JAVA 7 ZeroMQ -2.1.7 JZMQ unzip 3. 配置 storm.yaml 4. ...
分类：
其他好文 时间：
2017-06-27 11:00:31
阅读次数：
269
