文章源地址：https://github.com/edenhill/librdkafka/blob/master/INTRODUCTION.md
librdkafka 是Apache Kafka 客户端C语言的高性能实现， 能够提供可靠并且表现优秀的客户端，同时它也提供比较初级的C++界面。
Contents
本文主要包含以下章节：
一、性能...
分类：
编程语言 时间：
2014-10-31 11:57:45
阅读次数：
1263
后面为了引入Dubbo RPC框架（用spring配置），先把spring 引入jstorm中，请先了解一下jsorm多线程方面的文档：http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html ．
A worker process exe...
分类：
编程语言 时间：
2014-10-30 22:43:42
阅读次数：
517
本地模式启动的．
package com.doctor.kafkajstrom;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.TimeUnit;
import org.apache.commons.lang.RandomStringUtils;
import org.slf4j.Log...
分类：
编程语言 时间：
2014-10-30 22:37:43
阅读次数：
465
1. 在flume/conf下建一个example文件:将下面的配置信息写到example文件中#配置agent1表示代理名称agent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#配置source1agent1.source...
分类：
Web程序 时间：
2014-10-30 15:16:08
阅读次数：
239
kafka文件系统设计那些事，从架构层面，实现机制角度阐述kafka文件系统高效性能。
一个大文件分成多个小文件段。
多个小文件段，容易定时清除或删除已经消费完文件，减少磁盘占用。
index全部映射到memory直接操作，避免segment file被交换到磁盘增加IO操作次数。
根据索引信息，可以确定发送response到consumer的最大大小。
索引文件元数据存储用的是相对前一个segment file的offset存储，节省空间大小。...
分类：
其他好文 时间：
2014-10-28 20:08:50
阅读次数：
368
package com.doctor.logbackextend;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import kafka.consumer.Consumer;
import kafka.consumer.ConsumerCo...
分类：
Web程序 时间：
2014-10-26 09:07:44
阅读次数：
383
流程：1.X端发送数据到kafka（如web端发送的订单数据）。2.storm从kafka获取数据进行分析。 a.storm与kafka整合，获得数据——Sport b.storm对数据进行分析——Bolt 3.结果保存和显示（或者传给别人）。 a.将结果保存到DB（Hbase，redi...
分类：
其他好文 时间：
2014-10-25 17:13:49
阅读次数：
220
kafka自己居然没有还一个Web管理界面。。
这里有个第三方的：
https://github.com/claudemamo/kafka-web-console
坑爹的是居然没有详细的安装步骤，只有一些简单的说明，对于不熟悉scala play开发的人来说，很蛋疼。下面记录详细的安装过程。
先下载安装scala的构建工具sbt，最新版本可以到官网查看：
http://ww...
分类：
Web程序 时间：
2014-10-24 20:53:54
阅读次数：
253
Kafka 分布式消息队列 类似产品有JBoss、MQ一、由Linkedln 开源，使用scala开发，有如下几个特点：（1）高吞吐（2）分布式（3）支持多语言客户端 （C++、Java）二、组成: 客户端是 producer 和 consumer，提供一些API，服务器端是Broker，客户端提供...
分类：
其他好文 时间：
2014-10-23 16:13:44
阅读次数：
199
今天重启了下Hadoop集群，使用Eclipse调试hdfs api的时候报错：[WARNING] java.lang.NullPointerException at org.conan.kafka.HdfsUtil.batchWrite(HdfsUtil.java:50) at org...
分类：
其他好文 时间：
2014-10-23 12:20:22
阅读次数：
254
