1. 基本介绍 Kafka是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态 kafka的集群由多个Broker服务器组成，每个类型 ...
分类：
其他好文 时间：
2017-07-28 22:11:41
阅读次数：
191
Kafka 是对日志文件进行 append 操作，因此磁盘检索的开支是较小的；同时 为了减少磁盘写入的次数，broker 会将消息暂时 buffer 起来，当消息的个数（或大小）达到一定阀值时，再 flush 到磁盘，这样减少了磁盘 IO 调用的次数。 需要考虑的影响性能点很多多，除磁盘 IO 之外 ...
分类：
其他好文 时间：
2017-07-26 18:12:16
阅读次数：
147
环境说明： os：Ubuntu 16.04 zookeeper：zookeeper 3.4.9 kafka：kafka_2.11-0.11.0.0 jdk：jdk 8（kafka启动需要使用到jdk） 详细说明（以下所有操作均是在root用户下操作）： 一、jdk安装 jdk分为以下几种：jre、o ...
分类：
系统相关 时间：
2017-07-25 19:30:14
阅读次数：
594
在kafka.out日志里出现大量ERROR [ReplicaFetcherThread-0-1], Error for partition [FLAG_DATA_SYC,1] to broker 1:class kafka.common.UnknownTopicOrPartitionExcepti ...
分类：
其他好文 时间：
2017-07-23 10:16:44
阅读次数：
391
Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的，而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套协议的相关内容。 基本数据类型 Request和Res ...
分类：
其他好文 时间：
2017-07-16 10:06:03
阅读次数：
158
主流趋势 1. openstack defcore 互操作性认证。打通不同的openstack 厂商之间的连接 2. 首批OpenStack管理员认证(COA)将于2016年进行 3. 混合云应用广泛 Cloud Broker,cascading openstack 云连接器 4. DevOps 5 ...
分类：
其他好文 时间：
2017-07-15 15:49:52
阅读次数：
132
zookeeper作为去中心化的集群模式，消费者需要知道现在那些生产者(对于消费者而言，kafka就是生产者)是可用的。 如果没有zookeeper每次消费者在消费之前都去尝试连接生产者测试下是否连接成功，这样无法保证效率Replication & Leader election Kafka中主题的 ...
分类：
其他好文 时间：
2017-07-14 17:33:10
阅读次数：
166
Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker. ...
分类：
其他好文 时间：
2017-07-13 16:30:03
阅读次数：
102
Youcannowstartthebrokerbyexecuting:"/Users/huangrongwei/Documents/1_work_project/apache_apollo/apollo_broker/mybroker/bin/apollo-broker"runOryoucanrunthebrokerinthebackgroundusing:"/Users/huangrongwei/Documents/1_work_project/apache_apollo/apollo_broker/myb..
分类：
Web程序 时间：
2017-07-06 18:49:34
阅读次数：
323
Kafka producer的ack有3中机制，初始化producer时的producerconfig可以通过配置request.required.acks不同的值来实现。 0：这意味着生产者producer不等待来自broker同步完成的确认继续发送下一条（批）消息。此选项提供最低的延迟但最弱的耐 ...
分类：
Web程序 时间：
2017-07-06 14:29:24
阅读次数：
221
