码迷,mamicode.com
首页 > 其他好文 > 详细

Kafka集群

时间:2019-08-18 17:35:43      阅读:69      评论:0      收藏:0      [点我收藏+]

标签:asto   OLE   遇到的问题   hello   zookeeper   成功   运行   wget   https   

前提

zookeeper安装参考:https://www.cnblogs.com/JustinLau/p/11372782.html

其他安装参考:https://www.cnblogs.com/luotianshuai/p/5206662.html


安装Kafka前需要先安装zookeeper集群,集体安装方法请参照我的另一篇文档。
Kafka安装
下载

wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz

解压

tar -zxvf kafka_2.8.0-0.8.0.tar.gz

移动文件夹

mv kafka_2.8.0-0.8.0 /usr/local/hadoop/

修改配置

    cd /usr/local/hadoop/config
    vi server.properties

参照下图信息修改

技术图片

Kafaka操作

启动kafka server
cd ../
bin/kafka-server-start.sh config/server.properties

创建主题
cd /usr/local/hadoop/bin
./kafka-create-topic.sh --partition 1 --replica 1 --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test


检查主题是否创建成功

./kafka-list-topic.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181


启动producer

./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test

输入hello后,回车 ,然后另外打开一个shell终端
启动consumer

./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test


关闭kafka

./kafkastop.sh

新版本命令

    ---new version--
     
    ./kafka-topics.sh --create --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --replication-factor 1 --partitions 1 --topic test
     
     
    ./kafka-topics.sh --list --zookeeper 192.168.6.100:2181,192.168.6.103:2181
     
     
    ./kafka-console-producer.sh --broker-list 192.168.6.100:9092 --topic test
     
     
    ./kafka-console-consumer.sh --zookeeper 192.168.6.100:2181,192.168.6.103:2181 --topic test --from-beginning

附:有可能遇到的问题和解决方案
问题1: Failed to acquire lock on file .
这里写图片描述
技术图片


解决方案:
这是因为之前已经有kafka进程在运行,可以如下:
通过jps命令查看进程号,并kill掉,然后重新启动kafka即问题解决

Kafka集群

标签:asto   OLE   遇到的问题   hello   zookeeper   成功   运行   wget   https   

原文地址:https://www.cnblogs.com/JustinLau/p/11372988.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!