参考官网site:http://kafka.apache.org/documentation.html#basic_ops_cluster_expansionhttps://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Rep...
分类：
其他好文 时间：
2015-05-25 18:35:21
阅读次数：
146
总结下自己在尝试Kafka分区迁移过程中对这部分知识的理解，请路过高手指正。关于Kafka数据迁移的具体步骤指导，请参考如下链接:http://www.cnblogs.com/dycg/p/3922352.html原文作者写的非常清晰。本文主要侧重自己对相关Kafka源代码的理解：generateA...
分类：
其他好文 时间：
2015-05-25 18:31:41
阅读次数：
471
先解释下两个概念：high watermark (HW) 它表示已经被commited的最后一个message offset(所谓commited, 应该是ISR中所有replica都已写入)，HW以下的消息都已被ISR中各个replica同步，从而保持一致。HW以上的消息可能是脏数据：部分repl...
分类：
其他好文 时间：
2015-05-25 18:27:04
阅读次数：
271
学习Kafka的读书笔记，暂未把文章设为翻译类型，因为并非直译文档。水平有限，还请路过高手指正。 “最多(发送)一次”（At most once）：消息可以丢失但绝不会重新发送； “至少(发送)一次”（At least once)：消息绝不会丢失但是可能会被重新发送； “仅（发送）一次”（Exact...
分类：
其他好文 时间：
2015-05-25 18:15:55
阅读次数：
134
1.ProducerRecord 含义:发送给Kafka Broker的key/value值对2.内部数据结构：-- Topic（名字）-- PartitionID (可选)-- Key[(可选)-- Value3.生产者记录（简称PR）的发送逻辑: 若指定Partition ID,则PR被发送至指...
分类：
其他好文 时间：
2015-05-25 18:07:47
阅读次数：
208
创建一个Kafka的主题，连接到zk集群，副本因子3，分区3，主题名是test111 [root@h5 kafka]# bin/kafka-topics.sh --create --zookeeper h5:2181 --topic test111 --replication-factor 3 .....
分类：
编程语言 时间：
2015-05-24 17:20:41
阅读次数：
3423
背景
需要实现一个分布式监控程序，Agent把监控消息发送到Kafka,由消费者进程使用High Level API从Kafka获取消息
需求
随着Agent数量的增加，每秒产生的消息数量也在增加，考虑到High Level的API使消费者进程与分区的固定关系，所以需要使用Zookeeper来维护一个消费者的集群，使消费者可以根据Kafka分区的数量以及消费者集群的个数，动态的分配每...
分类：
系统相关 时间：
2015-05-24 11:36:47
阅读次数：
722
四、TopicDeletionManager.scala管理topic删除的状态机，具体逻辑如下：TopicCommand发送topic删除命令，在zk的/admin/delete_topics目录下创建topic节点controller会监听该zk目录下任何节点的变更并为对应的topic开启删除操...
分类：
其他好文 时间：
2015-05-22 13:19:17
阅读次数：
227
最近做一个项目的POC测试，打通了DB2->OGG->KAFKA->SPARK STREAMING->SEQUOIADB整套流程， 完成数据的实时更新，下面讲下kafka的安装kafka的安装需要zookeeper,kafka自己带了zookeeper组件，只要自己配置下config/zoookee...
分类：
其他好文 时间：
2015-05-22 13:07:36
阅读次数：
187
kafka简介Kafka由linkedln开发，主要用于处理linkedln的大面积的活跃数据流（active stream）。此类数据经常用于反应网站的一些有用信息，如uv或pv。它是一个分布式的消息发布和订阅系统，由producer发布，broker存储、consusmer消费组成。安装为分布式...
分类：
其他好文 时间：
2015-05-20 02:04:41
阅读次数：
236
