storm启动流程 storm是一个流行的开源的，分布式实时处理框架，关于storm的基本介绍可以参加这篇官方文档。大致的拓扑结构如图所示： 其中Nimbus是一个后台管理进程，运行在ma...
分类：
其他好文 时间：
2014-07-10 00:36:32
阅读次数：
439
欢迎转载，转载请注明出处，徽沪一郎。Spark Streaming能够对流数据进行近乎实时的速度进行数据处理。采用了不同于一般的流式数据处理模型，该模型使得Spark Streaming有非常高的处理速度，与storm相比拥有更高的吞能力。本篇简要分析Spark Streaming的处理模型，Spa...
分类：
其他好文 时间：
2014-07-07 14:44:43
阅读次数：
213
storm.yaml的配置可以参照defaults.yaml，例如：nimbus.childopts: " -Xms256m -Xmx256m -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOc...
分类：
Web程序 时间：
2014-07-07 00:51:49
阅读次数：
235
# Kfaka的体系结构
# 学习前言
Kafka的整个学习过程就是自己看官网的文档，出错了找各种错，各种百度Google什么的，还好最后都解决了，不然就坑爹了，伤不起啊！英语真心也是硬伤，还是好好学英语，多记记单词吧！看官方文档还是有点压力的，不过压力就是动力，人生就该如此，这几天有点小忙，今天终于把这个整理完了，以此来帮助那些想学这些新技术的朋友们，虽然整理的时候有点累，但是还是值得的。对云计算有兴趣的朋友可以加上面说的214293307的群哦，一起学习，共同进步 ...
# Kafka介绍
# 介...
分类：
编程语言 时间：
2014-07-03 18:41:34
阅读次数：
392
Storm安装配置
三台机器 131,132,133
需要安装 jdk，python,autoconf-2.64,zeromq-3.2.2,jzmq
安装jdk和python不详细说。
1 安装 autoconf-2.64,
1.1 下载 http://download.chinaunix.net/download.php?id=29328&ResourceID=648 ...
分类：
其他好文 时间：
2014-07-03 13:53:26
阅读次数：
293
下面是自己安装和测试storm的一些笔记，比较乱，后续有时间在整理一篇。storm jar all-my-code.jar com.storm.MyTopology arg1 arg2这个命令会运行主类: com.strom.MyTopology, 参数是arg1, arg2。这个类的main函数定...
分类：
其他好文 时间：
2014-07-02 00:56:33
阅读次数：
202
Metrics-Java版的指标度量工具之一 Metrics-Java版的指标度量工具之二 JAVA Metrics 度量工具使用介绍1 JAVA Metrics度量工具 - Metrics Core 翻译 http://blog.synyx.de/2013/09/yammer-metrics-ma...
分类：
其他好文 时间：
2014-07-01 21:16:39
阅读次数：
344
本篇blog教你如果使用kafka工具进行迁移和扩容相关topic。...
分类：
其他好文 时间：
2014-06-30 00:37:22
阅读次数：
337
Kafka是一个分布式的消息中间件，可以粗略的将其划分为三部分：Producer、Broker和Consumer。其中，Producer负责产生消息并负责将消息发送给Kafka；Broker可以简单的理解为Kafka集群中的每一台机器，其负责完成消息队列的主要功能（接收消息、消息的持久化存储、为Consumer提供消息、消息清理.....)；Consumer从Broker获取消息并进行后续的操作。...
分类：
其他好文 时间：
2014-06-27 23:55:13
阅读次数：
387
本篇博文详细告诉你如何安装Storm的本地开发环境，总体分为两步，具体如下：
1、从官网上下载Storm的发布包，下载完成后将其解压，并将解压后的bin目录添加到环境变量（PATH）中，以方便后续执行Storm的相关命令
2、修改Storm的配置文件（storm.yaml），主要是按照实际情况更新配置文件中的集群信息，然后将修改后的配置文件添加到目录（~/.storm/）中，目的是为了后续能够远程启动和停止集群上的计算任务（即topology）...
分类：
其他好文 时间：
2014-06-27 23:44:13
阅读次数：
505
