将之前自己调研的kafka相关的资料分享给你大家，只是简单研究，作为技术选型的前期准备使用，不设计到很深入使用。...
分类：
其他好文 时间：
2014-11-05 10:55:41
阅读次数：
271
Apache Samza is a distributed stream processing framework. It uses Apache
Kafka for messaging, and Apache
Hadoop YARN to provide fault tolerance, processor isolation, security, and resource manage...
分类：
其他好文 时间：
2014-11-02 16:36:31
阅读次数：
255
文章源地址：https://github.com/edenhill/librdkafka/blob/master/INTRODUCTION.md
librdkafka 是Apache Kafka 客户端C语言的高性能实现， 能够提供可靠并且表现优秀的客户端，同时它也提供比较初级的C++界面。
Contents
本文主要包含以下章节：
一、性能...
分类：
编程语言 时间：
2014-10-31 11:57:45
阅读次数：
1263
后面为了引入Dubbo RPC框架（用spring配置），先把spring 引入jstorm中，请先了解一下jsorm多线程方面的文档：http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html ．
A worker process exe...
分类：
编程语言 时间：
2014-10-30 22:43:42
阅读次数：
517
本地模式启动的．
package com.doctor.kafkajstrom;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.TimeUnit;
import org.apache.commons.lang.RandomStringUtils;
import org.slf4j.Log...
分类：
编程语言 时间：
2014-10-30 22:37:43
阅读次数：
465
kafka文件系统设计那些事，从架构层面，实现机制角度阐述kafka文件系统高效性能。
一个大文件分成多个小文件段。
多个小文件段，容易定时清除或删除已经消费完文件，减少磁盘占用。
index全部映射到memory直接操作，避免segment file被交换到磁盘增加IO操作次数。
根据索引信息，可以确定发送response到consumer的最大大小。
索引文件元数据存储用的是相对前一个segment file的offset存储，节省空间大小。...
分类：
其他好文 时间：
2014-10-28 20:08:50
阅读次数：
368
package com.doctor.logbackextend;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import kafka.consumer.Consumer;
import kafka.consumer.ConsumerCo...
分类：
Web程序 时间：
2014-10-26 09:07:44
阅读次数：
383
流程：1.X端发送数据到kafka（如web端发送的订单数据）。2.storm从kafka获取数据进行分析。 a.storm与kafka整合，获得数据——Sport b.storm对数据进行分析——Bolt 3.结果保存和显示（或者传给别人）。 a.将结果保存到DB（Hbase，redi...
分类：
其他好文 时间：
2014-10-25 17:13:49
阅读次数：
220
kafka自己居然没有还一个Web管理界面。。
这里有个第三方的：
https://github.com/claudemamo/kafka-web-console
坑爹的是居然没有详细的安装步骤，只有一些简单的说明，对于不熟悉scala play开发的人来说，很蛋疼。下面记录详细的安装过程。
先下载安装scala的构建工具sbt，最新版本可以到官网查看：
http://ww...
分类：
Web程序 时间：
2014-10-24 20:53:54
阅读次数：
253
Kafka 分布式消息队列 类似产品有JBoss、MQ一、由Linkedln 开源，使用scala开发，有如下几个特点：（1）高吞吐（2）分布式（3）支持多语言客户端 （C++、Java）二、组成: 客户端是 producer 和 consumer，提供一些API，服务器端是Broker，客户端提供...
分类：
其他好文 时间：
2014-10-23 16:13:44
阅读次数：
199
