使用Kafka的同学都知道，我们每次创建Kafka主题（Topic）的时候可以指定分区数和副本数等信息，如果将这些属性配置到server.properties文件中，以后调用Java API生成的主题将使用默认值，先改变需要使用命令bin/kafka-topics.sh --zookeeper lo...
分类：
编程语言 时间：
2015-05-28 17:45:49
阅读次数：
458
kafka创建topic时出现如下异常:Errorwhileexecutingtopiccommandorg.apache.zookeeper.KeeperException$NoNodeException:KeeperErrorCode=NoNodefor/brokers/idsorg.I0Itec.zkclient.exception.ZkNoNodeException:org.apache.zookeeper.KeeperException$NoNodeException:Keeper..
分类：
其他好文 时间：
2015-05-28 14:26:09
阅读次数：
2040
这个是Kafka server的核心包，里面的类也很多，我们还是一个一个分析一、BrokerStates.scala定义了目前一个kafka broker的7中状态 ——1. NotRunning：未运行2. Starting：启动中3. RecoveringFromUncleanShutdown：...
分类：
其他好文 时间：
2015-05-28 09:26:17
阅读次数：
4713
一.zookeeper下载与安装1）下载adeMacBook-Pro:zookeeper_soft apple$ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz2）解压tar z...
分类：
系统相关 时间：
2015-05-27 20:50:37
阅读次数：
365
摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系....
分类：
其他好文 时间：
2015-05-27 15:23:04
阅读次数：
132
下载kafka正式版
http://kafka.apache.org/downloads.html
在Linux下解压tar包
tar -xzfkafka_2.9.2-0.8.1.1.tgz
修改server.properties
进入kafka根目录config/server.properties
主要修改的有3个参数如下：...
分类：
其他好文 时间：
2015-05-25 18:51:27
阅读次数：
248
参考官网site:http://kafka.apache.org/documentation.html#basic_ops_cluster_expansionhttps://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Rep...
分类：
其他好文 时间：
2015-05-25 18:35:21
阅读次数：
146
总结下自己在尝试Kafka分区迁移过程中对这部分知识的理解，请路过高手指正。关于Kafka数据迁移的具体步骤指导，请参考如下链接:http://www.cnblogs.com/dycg/p/3922352.html原文作者写的非常清晰。本文主要侧重自己对相关Kafka源代码的理解：generateA...
分类：
其他好文 时间：
2015-05-25 18:31:41
阅读次数：
471
先解释下两个概念：high watermark (HW) 它表示已经被commited的最后一个message offset(所谓commited, 应该是ISR中所有replica都已写入)，HW以下的消息都已被ISR中各个replica同步，从而保持一致。HW以上的消息可能是脏数据：部分repl...
分类：
其他好文 时间：
2015-05-25 18:27:04
阅读次数：
271
学习Kafka的读书笔记，暂未把文章设为翻译类型，因为并非直译文档。水平有限，还请路过高手指正。 “最多(发送)一次”（At most once）：消息可以丢失但绝不会重新发送； “至少(发送)一次”（At least once)：消息绝不会丢失但是可能会被重新发送； “仅（发送）一次”（Exact...
分类：
其他好文 时间：
2015-05-25 18:15:55
阅读次数：
134
