Storm中Spout用于读取并向计算拓扑中发送数据源，最近在调试一个topology时遇到了系统qps低，处理速度达不到要求的问题，经过排查后发现是由于对Spout的使用模式不当导致的多线程同步等待。这里罗列几点个人觉得编写Spout代码时需要特别注意的地方。
分类：
其他好文 时间：
2014-06-29 14:53:27
阅读次数：
306
Hadoop2.0是对Hadoop1.0全面升级，诞生了通用的计算框架YARN，很多计算框架或者应用程序不再基于传统的操作系统开发，而是基于YARN这个云操作系统。典型的代表是DAG计算框架Tez，当然还有一些其他知名的自运行的计算集群系统也在YARN上有开源版本，比如Storm-on-yarn，S...
分类：
其他好文 时间：
2014-06-03 13:09:44
阅读次数：
336
自从建了Spark交流的QQ群之后，热情加入的同学不少，大家不仅对Spark很热衷对于Storm也是充满好奇。大家都提到一个问题就是有关storm内部实现机理的资料比较少,理解起来非常费劲。尽管自己也陆续对storm的源码走读发表了一些博文，当时写的时候比较匆忙，有时候衔接的不是太好，此番做了一些整...
分类：
其他好文 时间：
2014-05-30 07:25:09
阅读次数：
286
zookeeper+kafka集群安装之zookeeper集群...
分类：
其他好文 时间：
2014-05-26 04:42:01
阅读次数：
190
这个虚类是kafka.network.Acceptor和kafka.network.Processor的父类，提供了一个抽象的Sever线程。它的有趣之处在于为子类的启动和停止提供了线程间的协作机制。当子类的shutdown方法被调用时，子类可以得知自己被停止，在子类做了适当的处理和清理后，调用自己...
分类：
编程语言 时间：
2014-05-25 19:19:18
阅读次数：
328
apache kafka源代码分析工程搭建(IDEA)...
分类：
其他好文 时间：
2014-05-25 09:04:38
阅读次数：
416
zookeeper+kafka集群安装之二此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境.zookeeper安装参考:http://blog.csdn.net/ubuntu64fan/article/details/26678877首先了解几个kafka中的概念:kafka是一个消息队列服务器,服务称为broker...
分类：
其他好文 时间：
2014-05-24 20:48:48
阅读次数：
269
package com.storm.ui;import
android.content.Context;import android.graphics.Bitmap;import
android.graphics.Canvas;import android.graphics.Color;import...
分类：
其他好文 时间：
2014-05-24 14:07:05
阅读次数：
199
1. kafka是一个分布式的消息发布-订阅队列。2. 其中有一些主要的概念： Topic:
就是对放入队列的消息进行分类，分类消息分开储存，比如现在有订单消息和用户投诉消息，则分成订单topic和投诉topic Message：
放入消息队列的一条一条的消息。 Producer： 消息的生...
分类：
其他好文 时间：
2014-05-24 11:45:13
阅读次数：
236
传统的消息模型有两种模型，队列模型和发布-订阅模式。
1. 队列形式中，一群消费者可能从server那边读消息，而每条消息会流向他们中的一个。
2. 发布-订阅模式中，消息会广播到所有它的消费者们那。
Kafka是使用consumer group这个概念（下面把它翻译为"消费组"），把两者结合了。。
消费者给自己标志了一个消费组名，每条新发布到topic的消息会被传递给订阅它的消费组里的消费者实例，这些消费者实例可以是不同的进程，存在在不同的机器上。
如果所有的消费者在同一个消费组里，那么这相当于是...
分类：
其他好文 时间：
2014-05-21 16:12:44
阅读次数：
279
