读操作需要两个参数：一个64位的offset和一个S字节的最大读取量。S通常比单个消息的大小要大，但在一些个别消息比较大的情况下，S会小于单个消息的大小。这种情况下读操作会不断重试，每次重试都会讲读取量加倍，直到读取到一个完整的消息。可以配置单个消息的最大值，这样服务器就会拒绝大小超过这个值的消息。也可以给客户端指定一个尝试读取的最大上限，避免为了读到一个完整的消息而无限次的重试。...
分类：
其他好文 时间：
2014-07-17 20:11:04
阅读次数：
288
kafka客户端开发,如果进行多线程并行消费数据。...
分类：
编程语言 时间：
2014-07-16 17:26:29
阅读次数：
329
https://cwiki.apache.org/confluence/display/KAFKA
Pages
Index
Skip
to end of metadata
Attachments:1
Added by Alan D. Cabrera, last edited by Neha
Narkhede ...
分类：
其他好文 时间：
2014-07-15 22:25:29
阅读次数：
344
# 学习前言
框架整合中用到的所有工程代码，jar包什么的都已经上传到群214293307共享中，需要的话自己下载研究了。
# Flume的学习请参考_00016 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)这篇博文
# Kafka的学习请参考_00017 Kafka的体系结构介绍以及Kafka入门案例(初级案例+Java API的使用)这篇博文
# Storm的学习请参考_00019 Storm的体系结构介绍以及Storm入门案例(官网上的简单Java案例)这篇博文
请学习...
分类：
其他好文 时间：
2014-07-14 18:32:41
阅读次数：
574
Consumer API有两个级别。低级别的和一个指定的broker保持连接，并在接收完消息后关闭连接，这个级别是无状态的，每次读取消息都带着offset。
高级别的API隐藏了和brokers连接的细节，在不必关心服务端架构的情况下和服务端通信。还可以自己维护消费状态，并可以通过一些条件指定订阅特定的topic,比如白名单黑名单或者正则表达式。...
上篇文章中我们搭建了kafka的服务器，并可以使用Kafka的命令行工具创建topci，发送和接收消息。下面我们来搭建kafka的开发环境。
大家开发环境需要引入kafka的jar包，一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中，这种比较简单了。不过我们使用另一种更加流行的方式，使用maven管理jar包依赖。
创建好maven项目后，在...
分类：
其他好文 时间：
2014-07-11 00:12:15
阅读次数：
313
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？
首先让我们看几个基本的消息系统术语：
Kafka将消息以topic为单位进行归纳。
将向Kafka topic发布消息的程序成为producers.
将预订topics并消费消息的程序成为consumers.
Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker....
分类：
其他好文 时间：
2014-07-11 00:01:24
阅读次数：
197
一、整体看一下Kafka
我们知道，Kafka系统有三大组件：Producer、Consumer、broker 。
producers 生产消息并推(push)送给brokers，consumers从brokers把消息提取(pull)出来。
二、开发一个Producer应用
Producers用来生产消息并把产生的消息推送到Kafka...
分类：
其他好文 时间：
2014-07-10 23:07:37
阅读次数：
263
Kakfa在提高效率方面做了很大努力。Kakfa的一个主要使用场景是处理网站活动日志，吞吐量是非常大的，每个页面都会产生好多次写操作。读方面，假设每个消息只被消费一次，读的量的也是很大的，Kafka也尽量使读的操作更轻量化。
我们之前讨论了磁盘的性能问题，线性读写的情况下影响磁盘性能问题大约有两个方面：太多的琐碎的I/O操作和太多的字节拷贝。...
分类：
其他好文 时间：
2014-07-10 22:24:30
阅读次数：
260
4.2 Persistence（持久化）
不要畏惧文件系统!
Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢，这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。
在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s，但是随即写的速度却是...
分类：
其他好文 时间：
2014-07-10 21:59:28
阅读次数：
260
