kafka集群搭建 Java代码 1.zookeeper集群 搭建在110， 111,112 2.kafka使用3个节点110， 111,112 修改配置文件config/server.properties broker.id=110 host.name=192.168.1.110 log.dirs ...
分类：
编程语言 时间：
2016-10-02 21:35:29
阅读次数：
190
kafka 是一个消息系统， 具体资料可以参考官网： BrokerKafka集群包含一个或多个服务器，这种服务器被称为broker Topic每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个br ...
分类：
其他好文 时间：
2016-09-13 16:27:14
阅读次数：
119
1.概述 在开发工作当中，消费 Kafka 集群中的消息时，数据的变动是我们所关心的，当业务并不复杂的前提下，我们可以使用 Kafka 提供的命令工具，配合 Zookeeper 客户端工具，可以很方便的完成我们的工作。随着业务的复杂化，Group 和 Topic 的增加，此时我们使用 Kafka 提 ...
分类：
其他好文 时间：
2016-09-01 14:35:58
阅读次数：
240
kafka是一个分布式消息队列，需要依赖ZooKeeper，请先安装好zk集群 kafka安装包解压 配置文件 规划有3个节点，broker的id应该不同node1为broker.id=0node2为broker.id=1node3为broker.id=2 node1上复制kafka目录到其他节点 ...
分类：
其他好文 时间：
2016-08-12 18:07:51
阅读次数：
171
首先要特别感谢赵崇贺同学利用业余时间进行的压测，才能为本文提供专业的测试数据一、测试环境准备
Cpu
内存
硬盘 Intel(R) Xeon(R) CPU E5520 @ 2.27GHz
32G
6T
Kafka集群，服务器个数：3台
采用CMS垃圾回收
JVM运行参数
-Xmx1G -Xms1G -server -XX:+UseParNewGC -XX:+UseC...
分类：
其他好文 时间：
2016-07-29 15:39:26
阅读次数：
263
场景：老集群将不再使用，上边的kafka集群中的数据要导入到新的集群的kafka中倒入步骤(例如按照天的topic迁移)：因为kafka默认只保留7天的数据，所以只迁移近7天的数据1.首先使用kafka-topic.sh客户端列出kafka集群上所有topic2.取出近7天的topic名称，写入到一个txt文本中，每..
分类：
其他好文 时间：
2016-07-23 13:46:47
阅读次数：
632
kafka学习之路（二）——提高
消息发送流程
因为Kafka内在就是分布式的，一个Kafka集群通常包括多个代理。为了均衡负载，将话题分成多个分区，每个代理存储一或多个分区。多个生产者和消费者能够同时生产和获取消息。
过程：
1.Producer根据指定的partition方法（round-robin、hash等），将消息发布到指定topic的partition里...
分类：
其他好文 时间：
2016-07-17 17:17:48
阅读次数：
273
kafka_2.10-0.10 集群安装 kafka_2.10-0.10 集群安装 上文已经讲过如何安装Zookeeper集群，因为Kafka集群需要依赖Zookeeper服务，虽然Kafka有内置Zookeeper，但是还是建议独立安装Zookeeper集群服务，此处不再赘述 kafka集群还是安 ...
分类：
其他好文 时间：
2016-07-08 19:34:05
阅读次数：
746
kafka集群搭建 下面简单的介绍一下kafka的集群搭建，单个kafka的安装更简单，下面以集群搭建为例子。 我们设置并部署有三个节点的 kafka 集合体，必须在每个节点上遵循下面的步骤来启动 kafka 服务器，kafka集群需要依赖zookeeper集群，上一篇已经说道了zookeeper的 ...
分类：
其他好文 时间：
2016-06-26 00:37:13
阅读次数：
475
问题导读：
1.zookeeper在kafka的作用是什么？
2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？
3.kafka集群consumer和producer状态信息是如何保存的？
4.partitions设计的目的的根本原因是什么？
一、入门
1、简介
Kafka is a distribu...
分类：
其他好文 时间：
2016-06-02 14:39:21
阅读次数：
215
