kafka的单节点搭建和集群搭建

标签：

首先，kafka的运行，需要zookeeper在后台运行，虽然kafka中已经内置了zookeeper,但是我们还是用自己搭建的分布式zookeeper

kafka的单节点搭建  (这里用了自带的zookeeper)

启动服务

?1、配置和启动zookeeper服务

使用kafka内置zk

?配置zk文件：/opt/kafka/config/zookeeper.properties

?启用zk服务：

?/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties > /opt/logs/kafka-zk.log 2>&1 &

?netstat -an | grep 2181

使用公共的zk

?在/opt/kafka/config/server.properties中的zookeeper.connect配置外界zk的地址

?

?2、启动Kafka-server

?配置相关参数/opt/kafka/config/server.properties

?主要参数：broker.id、port、log.dirs

?启动：/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties >/opt/logs/kafka-server.log 2>&1 &

zookeeper的集群搭建

?部署kafka集群其实是增加kafka的broker数目。

?部署kafka集群：192.168.2.134、192.168.2.135、192.168.2.136

?

?1、zk的配置和单节点一致。

?2、server启动：

在192.168.2.134节点的配置/opt/kafka/config/server.properties broker.id=0

在192.168.2.135节点的配置/opt/kafka/config/server.properties broker.id=1

在192.168.2.136节点的配置/opt/kafka/config/server.properties broker.id=2

?所有节点的server.properties配置：zookeeper.connect=192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181

?启动所有server（在每一台中都要执行这个命令启动kafka）：/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties >/opt/logs/kafka-server.log 2>&1 &

?新增两个副本、3个分区的topic world

?bin/kafka-topics.sh --create --zookeeper 192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181 --replication-factor 3 --partitions 2 --topic world

kafka的单节点搭建和集群搭建

标签：

原文地址：http://www.cnblogs.com/hsw-time/p/5107916.html