码迷,mamicode.com
首页 > 其他好文 > 详细

zookeeper-kafka集群部署总结篇

时间:2020-01-30 11:20:41      阅读:140      评论:0      收藏:0      [点我收藏+]

标签:指定   config   etc   prope   serve   source   基于   broker   解决   

zookeeper是作为一个数据管道存储kafka消息队列,上一篇已经解决怎样部署一个zookeeper集群,基于zookeeper集群基础上,本篇介绍怎样部署kafka集群。

mv kafka_2.13-2.4.0.tgz /usr/local

tar -zxvf kafka_2.11-2.4.0.tgz

mv kafka_2.11-2.4.0  kafka

配置kafka环境变量,首先打开profile文件

vim /etc/profile

#set kafka environment

export KAFKA_HOME=/usr/local/kafka

PATH=${KAFKA_HOME}/bin:$PATH

保存文件后,让该环境变量生效

source /etc/profile

依次修改集群服务器如下配置

vim /usr/local/kafka/config/server.properties

broker.id=1 #服务id 如3台集群分别是1,2,3

listeners=PLAINTEXT://192.168.1.x1:9092

zookeeper.connect=192.168.1.x1:2181,192.168.1.x2:2181,192.168.1.x3:2181

#分别在每台机器上启动kafka服务

/usr/local/kafka/bin/kafka-server-start.sh -daemon config/server.properties 

#任意一台kafka服务器上创建 kafa topic 

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.1.x:2181 --replication-factor 3 --partitions 1 --topic test-topic #x 表示实际IP

#查看topic是否创建成功

/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.1.x:2181 --topic test-topic

如果出现以下情况表示创建成功

Topic: test-topic PartitionCount: 1 ReplicationFactor: 3 Configs:
Topic: test-topic Partition: 0 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1

备注: 没有在kafka目录下创建zookeeper ,指定myid

解决:

  cd kafka_2.11-1.1.0

  mkdir zookeeper
  cd zookeeper
  touch myid
  echo 0 > myid


重新启动kafka就ok

./bin/kafka-console-producer.sh --broker-list 192.168.1.9:9092 --topic topic-test #运行生产者发送消息

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.9:9092 --topic topic-test #运行消费者接收消息。

 

 

 

zookeeper-kafka集群部署总结篇

标签:指定   config   etc   prope   serve   source   基于   broker   解决   

原文地址:https://www.cnblogs.com/ms_senda/p/12242286.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!