流程：1.X端发送数据到kafka（如web端发送的订单数据）。2.storm从kafka获取数据进行分析。 a.storm与kafka整合，获得数据——Sport b.storm对数据进行分析——Bolt 3.结果保存和显示（或者传给别人）。 a.将结果保存到DB（Hbase，redi...
分类：
其他好文 时间：
2014-10-25 17:13:49
阅读次数：
220
kafka自己居然没有还一个Web管理界面。。
这里有个第三方的：
https://github.com/claudemamo/kafka-web-console
坑爹的是居然没有详细的安装步骤，只有一些简单的说明，对于不熟悉scala play开发的人来说，很蛋疼。下面记录详细的安装过程。
先下载安装scala的构建工具sbt，最新版本可以到官网查看：
http://ww...
分类：
Web程序 时间：
2014-10-24 20:53:54
阅读次数：
253
Kafka 分布式消息队列 类似产品有JBoss、MQ一、由Linkedln 开源，使用scala开发，有如下几个特点：（1）高吞吐（2）分布式（3）支持多语言客户端 （C++、Java）二、组成: 客户端是 producer 和 consumer，提供一些API，服务器端是Broker，客户端提供...
分类：
其他好文 时间：
2014-10-23 16:13:44
阅读次数：
199
今天重启了下Hadoop集群，使用Eclipse调试hdfs api的时候报错：[WARNING] java.lang.NullPointerException at org.conan.kafka.HdfsUtil.batchWrite(HdfsUtil.java:50) at org...
分类：
其他好文 时间：
2014-10-23 12:20:22
阅读次数：
254
flume是一个实时消息收集系统，它定义了多种的source、channel、sink，可以根据实际情况选择。Flume下载及文档：http://flume.apache.org/Kafkakafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的..
分类：
Web程序 时间：
2014-10-22 18:36:34
阅读次数：
338
kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：
通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
支持通过kafka服务器和消费机集群来分区消息。
支持H...
分类：
其他好文 时间：
2014-10-13 18:48:06
阅读次数：
165
转：http://blog.chinaunix.net/uid-25135004-id-4172954.html测试kafka producer发送消息 和consumer 接受消息报错 ，kafka版本kafka_2.9.2-0.8.1[root@master ~]# /export/kafka/...
分类：
其他好文 时间：
2014-10-11 18:40:56
阅读次数：
403
Set a multi node Apache ZooKeeper clusterOn every node of the cluster add the following lines to the filekafka/config/zookeeper.propertiesserver.1=zNo...
分类：
Web程序 时间：
2014-10-11 13:20:15
阅读次数：
253
1.前言首先，描述下应用场景：假设，公司有一款游戏，需要做行为统计分析，数据的源头来自日志，由于用户行为非常多，导致日志量非常大。将日志数据插入数据库然后再进行分析，已经满足不了。最好的办法是存日志，然后通过对日志的分析，计算出有用的数据。我们采用kafka这种分..
分类：
其他好文 时间：
2014-10-08 02:00:35
阅读次数：
562
kafka概念：
kafka是一个高吞吐量的流式分布式消息系统，用来处理活动流数据，比如网页的访问量pm,日志等，既能够实时处理大数据信息
也能离线处理。
特点：
1.高吞吐量
2.是一种显式的分布式系统，它假设，数据生产者（producer）,代理（brokers）和数据使用者（consum...
分类：
其他好文 时间：
2014-09-29 20:09:12
阅读次数：
196
