Kafka的Log存储解析
标签（空格分隔）： kafka
引言
Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partit...
分类：
其他好文 时间：
2015-01-21 18:16:35
阅读次数：
189
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2015-01-20 15:39:15
阅读次数：
285
Kafka Producer相关代码分析
标签（空格分隔）： kafka
Kafka Producer将用户的消息发送到Kafka集群（准确讲是发送到Broker）。本文将分析Producer相关的代码实现。
类kafka.producer.Producer
如果你自己实现Kafka客户端来发送消息的话，你就是用到这个类提供的接口来发送消息。（如果你对如何利用Producer AP...
分类：
其他好文 时间：
2015-01-17 20:53:34
阅读次数：
233
Kafka的通讯协议
标签:kafka
Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的，而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套协议的相关内容。
基本数据类型
定长数据类型：int8,int16,int32和int64，对...
分类：
其他好文 时间：
2015-01-15 20:23:45
阅读次数：
260
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计
Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.
下面来看下如何简单的使用：
...
分类：
其他好文 时间：
2015-01-14 11:06:44
阅读次数：
150
Kafkais a distributed publish-subscribe messaging system. It was originally developed at LinkedIn and became an Apache project in July, 2011. Today,Ka...
分类：
Web程序 时间：
2015-01-10 23:42:50
阅读次数：
367
官方地址：http://spring.io/blog/2014/12/23/spring-xd-1-1-m2-and-1-0-3-releasedOn behalf of the Spring XD team, I am very pleased to announce the second mil...
分类：
编程语言 时间：
2015-01-10 23:41:40
阅读次数：
340
1. Add Partition ToolPartitions act as unit of parallelism. Messages of a single topic are distributed to multiple partitions that can be stored and s...
分类：
其他好文 时间：
2015-01-10 23:37:04
阅读次数：
440
apache kafka中国社区QQ群:162272557apache kafka参考http://kafka.apache.org/documentation.html消息队列分类： 点对点：消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意：消息被消费...
分类：
Web程序 时间：
2015-01-09 12:30:22
阅读次数：
184
apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引，关于kafka的文章暂时就更新到这里，最近利用空闲时间在对 kafka做一些功能性增强，并java化，虽然现在已经有很多这样的版本，但是根据实际需求来改变才是最适合的。首先当然推荐的是kafka的官网htt...
分类：
其他好文 时间：
2015-01-08 17:19:59
阅读次数：
119
