在实际的项目中，需要storm从metaq中读取数据，一开始就有日志问题，查到是storm/lib中的log4j-over-slf4j和slf4j-api.jar包的不兼容导致的，这些日志包使用时必须版本一致，只有又产生了java.lang.IncompatibleClassChangeError:...
分类：
Web程序 时间：
2014-11-24 18:52:08
阅读次数：
360
storm因机器断电或其他异常导致的supervisor意外终止，再次启动时报错： 1. 2013-09-24 09:15:44,361 INFO [main] daemon.supervisor (NO_SOURCE_FILE:invoke(0)) - Starting superviso...
分类：
编程语言 时间：
2014-11-24 17:02:46
阅读次数：
169
Storm有 7 种类型的stream分组： 1.Shuffle Grouping: 随机分组， 随机派发stream 里面的 tuple，保证每个 bolt 接收到的 tuple 数目大致相同。 2.Fields Grouping： 按字段分组，比如...
分类：
其他好文 时间：
2014-11-24 14:58:39
阅读次数：
210
Spout:spout对象必须是继承Serializable， 因此要求spout内所有数据结构必须是可序列化的spout可以有构造函数，但构造函数只执行一次，是在提交任务时，创建spout对象，因此在task分配到具体worker之前的初始化工作可以在此处完成，一旦完成，初始化的内容将携带到每一个...
分类：
其他好文 时间：
2014-11-24 13:26:18
阅读次数：
172
前言
这个系列是关于Tachyon的，主要基于《Reliable, Memory Speed Storage for Cluster Computing Frameworks 》这篇论文以及源码，最近工作比较忙，精力实在有限，可能更新得比较慢
简介
Tachyon是一个分布式文件系统，提供了一种可靠的方式，可以以访问内存的速度在不同的分布式计算框架之间共享数据。Tachy...
分类：
其他好文 时间：
2014-11-24 10:15:44
阅读次数：
173
1.下载storm并解压
2.修改文件 storm.yaml
我这里填的是域名，填ip也可以
hadoop@namenode:~/storm-0.9.2/conf$ vim storm.yaml
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor licens...
分类：
其他好文 时间：
2014-11-24 01:03:47
阅读次数：
334
Trident主要有5类操作：1、作用在本地的操作，不产生网络传输。2、对数据流的重分布，不改变流的内容，但是产生网络传输。3、聚合操作，有可能产生网络传输。4、作用在分组流（grouped streams）上的操作。5、Merge和join
分类：
其他好文 时间：
2014-11-23 23:06:46
阅读次数：
208
数据流分流和合并数据流经常需要分流与合并操作，如下图所示：分流分流有2钟情况，第一种是，相同的tuple发往下一级不同的bolt， 第二种，分别发送不同的tuple到不同的下级bolt上。发送相同tuple其实和普通1v1 发送一模一样，就是有2个或多个bolt接收同一个spout或bolt的数据 ...
分类：
其他好文 时间：
2014-11-23 22:59:44
阅读次数：
4962
By admin on May 29, 2011 ? ? I have been working on clustering code improvements in the Tigase server for last a few months to make it more reliable and better scale. In article about XMPP Servic...
分类：
Web程序 时间：
2014-11-21 12:49:18
阅读次数：
272
原文链接：http://blog.csdn.net/hguisu/article/details/8454368简单和明了，Storm让大数据分析变得轻松加愉快。当今世界，公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据，网站、社交媒体、交易型商业数据以及其它商...
分类：
其他好文 时间：
2014-11-19 20:28:26
阅读次数：
425
