前言: kafka是linkedin开源的消息队列, 淘宝的metaq就是基于kafka而研发. 而消息队列作为一个分布式组件, 在服务解耦/异步化, 扮演非常重要的角色. 本系列主要研究kafka的思想和使用, 本文主要讲解kafka的一些基本概念和api的使用. *) 准备工作1) 配置ma.....
介绍略 集群安装： 一.准备工作： 1.版本介绍： 目前我们使用版本为kafka_2.9.2-0.8.1（scala-2.9.2为kafka官方推荐版本，此外还有2.8.2和2.10.2可以选择） 2.环境准备： 安装JDK6，目前使用版本为1.6，并配置JAV...
分类：
其他好文 时间：
2014-07-21 10:25:51
阅读次数：
173
# Kafka 高级部分之自定义Encoder实现Class级别的数据传送已经解析
# 前言
本博文中用到的所有工程代码，jar包什么的都已经上传到群214293307共享中，需要的话自己下载研究了。
本博文《_00023 Kafka 诡异操作_001自定义Encoder实现Class级别的数据传送以及解析》中的Eclipse工程代码下载地址 http://download.csdn.net/detail/u012185296/7633405
# Class级别信息Send的原理
简单的说就是将一个...
分类：
其他好文 时间：
2014-07-18 12:31:58
阅读次数：
527
读操作需要两个参数：一个64位的offset和一个S字节的最大读取量。S通常比单个消息的大小要大，但在一些个别消息比较大的情况下，S会小于单个消息的大小。这种情况下读操作会不断重试，每次重试都会讲读取量加倍，直到读取到一个完整的消息。可以配置单个消息的最大值，这样服务器就会拒绝大小超过这个值的消息。也可以给客户端指定一个尝试读取的最大上限，避免为了读到一个完整的消息而无限次的重试。...
分类：
其他好文 时间：
2014-07-17 20:11:04
阅读次数：
288
kafka客户端开发,如果进行多线程并行消费数据。...
分类：
编程语言 时间：
2014-07-16 17:26:29
阅读次数：
329
https://cwiki.apache.org/confluence/display/KAFKA
Pages
Index
Skip
to end of metadata
Attachments:1
Added by Alan D. Cabrera, last edited by Neha
Narkhede ...
分类：
其他好文 时间：
2014-07-15 22:25:29
阅读次数：
344
# 学习前言
框架整合中用到的所有工程代码，jar包什么的都已经上传到群214293307共享中，需要的话自己下载研究了。
# Flume的学习请参考_00016 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)这篇博文
# Kafka的学习请参考_00017 Kafka的体系结构介绍以及Kafka入门案例(初级案例+Java API的使用)这篇博文
# Storm的学习请参考_00019 Storm的体系结构介绍以及Storm入门案例(官网上的简单Java案例)这篇博文
请学习...
分类：
其他好文 时间：
2014-07-14 18:32:41
阅读次数：
574
Consumer API有两个级别。低级别的和一个指定的broker保持连接，并在接收完消息后关闭连接，这个级别是无状态的，每次读取消息都带着offset。
高级别的API隐藏了和brokers连接的细节，在不必关心服务端架构的情况下和服务端通信。还可以自己维护消费状态，并可以通过一些条件指定订阅特定的topic,比如白名单黑名单或者正则表达式。...
一、整体看一下Kafka
我们知道，Kafka系统有三大组件：Producer、Consumer、broker 。
producers 生产消息并推(push)送给brokers，consumers从brokers把消息提取(pull)出来。
二、开发一个Producer应用
Producers用来生产消息并把产生的消息推送到Kafka...
分类：
其他好文 时间：
2014-07-10 23:07:37
阅读次数：
263
