“Stream”是Trident中的核心数据模型，它被当做一系列的batch来处理。在Storm集群的节点之间，一个stream被划分成很多partition（分区），对流的操作（operation）是在每个partition上并行进行的。
注：
①“Stream”是Trident中的核心数据模型：有些地方也说是TridentTuple，没有个标准的说法。
②一个stream被划分成很多pa...
“Stream”是Trident中的核心数据模型，它被当做一系列的batch来处理。在Storm集群的节点之间，一个stream被划分成很多partition（分区），对流的操作（operation）是在每个partition上并行进行的。注：①“Stream”是Trident中的核心数据模型：有些...
最近一直在跟进storm的问题，从storm集群的稳定性到监控到升级到bolt写redis的问题,因为公司目前没有专业运维redis的，只能我们数据部门自己搞了。。下面记录下遇到的几个问题:总结下目前storm写redis问题:1.redis高峰写入异常，增加redis监控，发现cpu性能瓶颈(redis单线程，..
分类：
其他好文 时间：
2015-04-19 19:40:58
阅读次数：
153
0.前言 需求是这么来的，搭建了Storm集群进行协同过滤算法的计算性能测试，要求精度在毫秒（ms）级别。局域网内40个虚拟机节点，用 date 命令，精度上和效率上都不可行。所以，就搭建了 NTP 服务器。1.简介 简单的说就是选择几部主要主机 (Primary server) 调校时间，让这.....
分类：
系统相关 时间：
2015-04-13 18:29:04
阅读次数：
247
Storm UI ——本文主要解释下storm ui上各项属性的含义。通过http://UI_Server:8080可以打开Storm Web UI看看Storm集群的状态。1. mainpage 首页主要分为3块: a. Cluster Summary version：stor...
分类：
其他好文 时间：
2015-03-31 21:53:35
阅读次数：
337
【原】storm源码之一个class解决nimbus单点问题一、storm nimbus 单节点问题概述1、storm集群在生产环境部署之后，通常会是如下的结构： 从图中可以看出zookeeper和supervisor都是多节点，任意1个zookeeper节点宕...
分类：
其他好文 时间：
2015-03-28 22:59:02
阅读次数：
181
安装前说明： 必须先安装zookeeper集群 该Storm集群由三台机器构成，主机名分别为chenx01,chenx02,chenx03,对应的IP分别为192.168.1.110,192.168.1.111,192.168.1.112,其中chenx01为MAST 1、修改主机名 vim /et...
分类：
其他好文 时间：
2015-03-19 23:24:56
阅读次数：
114
1. Storm集群组件Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态和监...
分类：
其他好文 时间：
2015-03-12 19:06:50
阅读次数：
171
Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景)课程讲师：Cloudy课程分类：大数据适合人群：初级课时数量：28课时用到技术：Storm集群、Zookeeper集群等涉及项目：网站PV、UV案例实战、其他案例咨询qq：1840215592课程亮...
分类：
其他好文 时间：
2015-03-12 18:38:12
阅读次数：
311
storm的DRPC模式的作用是实现从远程调用storm集群的计算资源，而不需要连接到集群的某一个节点。OK。那么storm实现DRPC主要是使用LinearDRPCTopologyBuilder这个类。下面就先来看看一个简单的例子，它的源码的github上。import backtype.st.....
分类：
其他好文 时间：
2015-03-07 18:39:40
阅读次数：
201
