storm启动流程 storm是一个流行的开源的，分布式实时处理框架，关于storm的基本介绍可以参加这篇官方文档。大致的拓扑结构如图所示： 其中Nimbus是一个后台管理进程，运行在ma...
分类：
其他好文 时间：
2014-07-10 00:36:32
阅读次数：
439
欢迎转载，转载请注明出处，徽沪一郎。Spark Streaming能够对流数据进行近乎实时的速度进行数据处理。采用了不同于一般的流式数据处理模型，该模型使得Spark Streaming有非常高的处理速度，与storm相比拥有更高的吞能力。本篇简要分析Spark Streaming的处理模型，Spa...
分类：
其他好文 时间：
2014-07-07 14:44:43
阅读次数：
213
storm.yaml的配置可以参照defaults.yaml，例如：nimbus.childopts: " -Xms256m -Xmx256m -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOc...
分类：
Web程序 时间：
2014-07-07 00:51:49
阅读次数：
235
在现在的“大数据”、“云平台”这些前沿技术的背景下，衍生了很多平台型技术点，Nosql、Hadoop、Storm等层出不穷。这些华丽的技术后面其实处处都离不开“分布式”这个虽然提出了很久，但是大数据、云计算带火了的技术。以致于开个玩笑说，如果不懂一些“分布式"下的技术和原理的，会有点不好意思说自己是后端开发 -- (玩笑而已!! ^_^)。...
分类：
其他好文 时间：
2014-07-04 08:44:53
阅读次数：
216
storm有两种运行模式(本地模式和集群模式)1、首先创建一个类似于HelloWorld的简单程序，以便进入storm的大门，包结构如下：2、从包结构可以知道，这是一个MavenProject，pom.xml的内容如下：<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org..
分类：
其他好文 时间：
2014-07-04 06:08:42
阅读次数：
490
Storm安装配置
三台机器 131,132,133
需要安装 jdk，python,autoconf-2.64,zeromq-3.2.2,jzmq
安装jdk和python不详细说。
1 安装 autoconf-2.64,
1.1 下载 http://download.chinaunix.net/download.php?id=29328&ResourceID=648 ...
分类：
其他好文 时间：
2014-07-03 13:53:26
阅读次数：
293
下面是自己安装和测试storm的一些笔记，比较乱，后续有时间在整理一篇。storm jar all-my-code.jar com.storm.MyTopology arg1 arg2这个命令会运行主类: com.strom.MyTopology, 参数是arg1, arg2。这个类的main函数定...
分类：
其他好文 时间：
2014-07-02 00:56:33
阅读次数：
202
本篇博文详细告诉你如何安装Storm的本地开发环境，总体分为两步，具体如下：
1、从官网上下载Storm的发布包，下载完成后将其解压，并将解压后的bin目录添加到环境变量（PATH）中，以方便后续执行Storm的相关命令
2、修改Storm的配置文件（storm.yaml），主要是按照实际情况更新配置文件中的集群信息，然后将修改后的配置文件添加到目录（~/.storm/）中，目的是为了后续能够远程启动和停止集群上的计算任务（即topology）...
分类：
其他好文 时间：
2014-06-27 23:44:13
阅读次数：
505
过去十年，数据处理领域发生了很大的变化，可以认为是发生了一次革命。MapReduce、Hadoop以及其他相关技术使得在存储和处理我们以前无法想象的大规模数据方面成为可能。然后不幸的是，这些数据处理技术并不是实时系统，而且他们命中注定也不是。无法将Hadoop转换成实时系统，因为实时数据处理和批处理在要求上有本质的不同。
然后，大规模地实时数据处理需求在商业应用上已经越来越迫切。数据处理生态中缺少”实时Hadoop“（即类似于Hadoop在批处理领域的通用解决方案）已经成为一个最大的遗憾。Storm弥补了...
分类：
其他好文 时间：
2014-06-27 09:04:04
阅读次数：
184
Storm-0.9.2-incubating源码编译打包详解...
分类：
其他好文 时间：
2014-06-27 07:11:01
阅读次数：
642
