一、概述
Storm Trident中的核心数据模型就是“Stream”，也就是说，Storm Trident处理的是Stream，但是实际上Stream是被成批处理的，Stream被切分成一个个的Batch分布到集群中，所有应用在Stream上的函数最终会应用到每个节点的Batch中，实现并行计算，具体如下图所示：
在Trident中有五种操作类型：
A...
本章描述：对于Protocol的封装 package?com.digitalpebble.storm.crawler.fetcher;
import?com.digitalpebble.storm.crawler.util.Configuration;
public?interface?Protocol?{
????public?Protoco...
分类：
其他好文 时间：
2014-08-21 19:45:55
阅读次数：
147
package?com.digitalpebble.storm.crawler;
import?backtype.storm.Config;
import?backtype.storm.metric.MetricsConsumerBolt;
import?backtype.storm.metric.api.IMetricsConsumer;
import?backtype.st...
分类：
其他好文 时间：
2014-08-21 17:25:44
阅读次数：
185
阅读背景：1 您需要了解什么是dubbo，如何使用dubbo拆分服务 ? ? ? ? ? ? ? ? 2：您需要了解如何将所需要的服务注册到dubbo ? ? ?????????? ?3： 您还可能需要了解如何使用zookeeper 本章主...
分类：
其他好文 时间：
2014-08-21 15:23:14
阅读次数：
216
Nimbus ：负责资源分配和任务调度, 把任务相关的元信息写入Zookeeper 相应目录。
Supervisor ：负责接受nimbus 分配的任务，启动和停止属于自己管理的worker 进程。
Worker ：运行具体处理组件逻辑的进程。
Executor ：运行spout/bolt 的线程
Task ： worker 中每一个spout/bolt 的线程称为一个task.
Topology ： storm 中运行的实时应用程序，消息在各个组件间流动形成逻辑上的拓扑结构。
Spout ：在一个topo...
分类：
其他好文 时间：
2014-08-20 12:39:12
阅读次数：
171
目录： 一、Flume、Kafka、Storm是什么,如何安装? 二、Flume、Kafka、Storm如何结合使用？ 1) 原理是什么？ 2) Flume和Kafka的整合 3) Kafka和Storm的整合 4) Flume、Kafka、Storm的整合 一、Flu...
分类：
其他好文 时间：
2014-08-19 20:39:55
阅读次数：
750
阅读背景： 如果您对爬虫，或则web前端不够了解，请自行google。 代码前提：您需要参阅本ID 所写的前面两篇博文：? Storm【实践系列-如何写一个爬虫】 - Fetcher 本章主题： ParserBolt 如何完成的解析，并且如何...
分类：
其他好文 时间：
2014-08-18 16:37:42
阅读次数：
376
最近在写一个关于用HTTP控制storm的的UI功能，已经实现完成，采用在nginx里面加入对应的模块调用来实现，模块中调用一个动态加载的SO，这个SO用THRIFT和zookeeper client实现对storm的控制和信息的存储固化。开始我使用了std::string来做字符串处理。后来发现string实在太多未知的对象构建和内存分配，加上我想把so改用纯C的实现。std::string自然...
分类：
其他好文 时间：
2014-08-18 14:32:03
阅读次数：
209
针对当前热门实时计算技术storm的参数设置总结，已经性能测试！...
分类：
其他好文 时间：
2014-08-13 19:06:27
阅读次数：
282
1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类：
其他好文 时间：
2014-08-13 14:29:36
阅读次数：
302
