Kafka的通讯协议
标签:kafka
Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的，而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套协议的相关内容。
基本数据类型
定长数据类型：int8,int16,int32和int64，对...
分类：
其他好文 时间：
2015-01-15 20:23:45
阅读次数：
260
Supervisor中文翻译是监督者，意思简单明了，就是对资源进行监控，其实主要是woker资源。该组件所做的事情概括如下：
1、每隔一段时间发送心跳证明自己还活着
2、下载新的topology
3、释放无效的woker
4、分配新的任务
该组件主要包含：心跳线程、supervisor事件接受线程、处理线程，一旦事件接受到则会进入任务分配环节，主要逻辑...
分类：
Web程序 时间：
2015-01-14 16:52:28
阅读次数：
284
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计
Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.
下面来看下如何简单的使用：
...
分类：
其他好文 时间：
2015-01-14 11:06:44
阅读次数：
150
NimbusServer相当于hadoop里的JobTracker或yarn里的ResourceManager，在集群中属于首脑地位，负责分发任务，监控集群状态，与supervisor的通信主要通过Zookeeper。nimbus在启动过程中会做以下工作，以保证集群稳定运行：
1、清理无效topology
2、建立zk连接并创建相应znode
3、启动监控线程
4、启动httpserver...
分类：
Web程序 时间：
2015-01-13 15:58:30
阅读次数：
403
Kafkais a distributed publish-subscribe messaging system. It was originally developed at LinkedIn and became an Apache project in July, 2011. Today,Ka...
分类：
Web程序 时间：
2015-01-10 23:42:50
阅读次数：
367
官方地址：http://spring.io/blog/2014/12/23/spring-xd-1-1-m2-and-1-0-3-releasedOn behalf of the Spring XD team, I am very pleased to announce the second mil...
分类：
编程语言 时间：
2015-01-10 23:41:40
阅读次数：
340
1. Add Partition ToolPartitions act as unit of parallelism. Messages of a single topic are distributed to multiple partitions that can be stored and s...
分类：
其他好文 时间：
2015-01-10 23:37:04
阅读次数：
440
apache kafka中国社区QQ群:162272557apache kafka参考http://kafka.apache.org/documentation.html消息队列分类： 点对点：消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意：消息被消费...
分类：
Web程序 时间：
2015-01-09 12:30:22
阅读次数：
184
apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引，关于kafka的文章暂时就更新到这里，最近利用空闲时间在对 kafka做一些功能性增强，并java化，虽然现在已经有很多这样的版本，但是根据实际需求来改变才是最适合的。首先当然推荐的是kafka的官网htt...
分类：
其他好文 时间：
2015-01-08 17:19:59
阅读次数：
119
如果你要利用代码来跑kafka的应用，那你最好先把官网给出的example先在单机环境和分布式环境下跑通，然后再逐步将原有的consumer、producer和broker替换成自己写的代码。所以在阅读这篇文章前你需要具备以下前提：1.简单了解kafka功能，理解kafka的分布式原理2.能在分布式...
分类：
其他好文 时间：
2015-01-08 17:16:27
阅读次数：
191
