背景 昨天公司业务部门报告业务崩溃，查看各个业务节点后，定位问题到storm集群。 打开storm ui查看下任务状态，发现可以加载页面元素，但是无法加载数据，分析是nimbus挂掉了，重启nimbus。本着先恢复业务的原则，我直接通过命令行停止任务后，又重新提交了任务，这个时候访问storm ui ...
分类：
其他好文 时间：
2020-08-20 19:10:56
阅读次数：
74
讲了手写了storm wordcount程序 蕴含了很多的知识点 （1）Spout（2）Bolt（3）OutputCollector，Declarer（4）Topology（5）设置worker，executor，task，流分组 storm的核心基本原理，基本的开发，学会了 storm集群部署，怎 ...
分类：
编程语言 时间：
2020-05-02 11:51:07
阅读次数：
65
序言 主要学习方向 Kafka 分布式消息系统 Redis 缓存数据库 Storm 流式计算 1.Storm 的基本概念 2.Storm 的应用场景 3.Storm 和Hadoop的对比 4.Storm 集群的安装的linux环境准备 5.zookeeper集群搭建 6.Storm 集群搭建 7.S ...
分类：
其他好文 时间：
2020-02-23 11:38:34
阅读次数：
61
【现象】 自己搭建虚拟机，搭建storm集群，然后访问阿里云物联网平台上的订阅服务amqp 然后发现当worker运行在第三个节点上的时候，就连接不上阿里云。 【调查】 刚开始怀疑虚拟机克隆之后，mac地址，uuid之类的冲突，尝试了修改 修改之后，仍然不好使，然后对三个虚拟机分别测试能否联网 测试 ...
分类：
其他好文 时间：
2020-02-08 16:00:26
阅读次数：
173
https://www.bbsmax.com/A/ZOJPOw8xzv/ 平台：centos-6.3-i386 jdk-7u51 storm 0.9.1 python 2.6.6 hadoop 1.2.1 今天上午装storm的时候遇到这个问题，好郁闷。把网上介绍的方法都试了一遍，都没能很好的解决问 ...
分类：
其他好文 时间：
2019-09-06 18:58:33
阅读次数：
133
一、集群规划 这里搭建一个 3 节点的 Storm 集群：三台主机上均部署 和 服务。同时为了保证高可用，除了在 hadoop001 上部署主 服务外，还在 hadoop002 上部署备用的 服务。 服务由 Zookeeper 集群进行协调管理，如果主 不可用，则备用 会成为新的主 。 二、前置条件 ...
分类：
其他好文 时间：
2019-09-03 16:15:29
阅读次数：
99
安装Storm之前，需要先安装好Java与ZooKeeper，Java与ZooKeeper的安装此处不做过多讲解，Storm的安装步骤如下： 1.下载Storm 要在您的计算机上安装Storm框架，请访问以下链接并下载最新版本的Storm http://storm.apache.org/downlo ...
分类：
其他好文 时间：
2019-08-22 10:55:26
阅读次数：
97
本文将学习如何使用java创建Storm拓扑并将其部署到Storm集群。 Storm集群的组件 Storm集群类似于Hadoop集群，只不过 Hadoop 上运行"MapReduce jobs"， Storm 上运行"topologies"。 两者最大的差别是，MapReducejobs 最终是完成 ...
分类：
其他好文 时间：
2019-07-19 12:40:50
阅读次数：
96
1、实时处理框架 即从上面的架构中我们可以看出，其由下面的几部分构成： Flume集群 Kafka集群 Storm集群 从构建实时处理系统的角度出发，我们需要做的是，如何让数据在各个不同的集群系统之间打通（从上面的图示中也能很好地说明这一点），即需要做各个系统之前的整合，包括Flume与Kafka的 ...
分类：
Web程序 时间：
2019-05-20 21:21:03
阅读次数：
275
什么是storm的并发度 一个topology（拓扑）在storm集群上最总是以executor和task的形式运行在suppervisor管理的worker节点上。而worker进程都是运行在jvm虚拟机上面的，每个拓扑都会被拆开多个组件分布式的运行在worker节点上。 1.worker 2.e ...
分类：
其他好文 时间：
2019-05-10 21:56:15
阅读次数：
130
