kafka的安装和使用

标签：解压   hosts   create   cal   conf   start   producer   终端   server   

1、安装：

• 下载：去官网 https://kafka.apache.org/downloads 下载二机制版本 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.12-1.1.0.tgz

直接网页下载或者命令行下载 wget -c http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz

• 解压：把二机制包放到某个linux centos机器下解压tar -zxvf kafka_2.12-1.1.0.tgz
• 启动zk：kafka依赖zookeeper，需要先启动zookeeper。安装包自带zookeeper，可以直接启动，如果已经单独安装zookeeper的话，就不需要重启启动，如果需要再启动一个zookeeper，修改下zookeeper的配置文件，修改端口，不要造成端口冲突，zk的默认端口是2181。 启动命令：

  bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

• 启动kafka：需要先修改kafka配置文件：修改 kafka-server 的配置文件 config/server.properties，修改其中的broker.id和log位置。然后启动kafak服务。启动命令：bin/kafka-server-start.sh config/server.properties ，kafka默认端口9092。

broker.id=1
log.dir=/data/kafka/logs-1

• 单机多BROKER 集群配置：新生成几个配置文件config/server1.properties、config/server2.properties。然后，修改里吗的配置文件broker.id、 log.dir、  listeners分别指定不同的broker、日志文件位置、监听端口。然后分别使用这些配置文件启动即可。

2、使用：

• 创建 TOPIC：使用 kafka-topics.sh 创建单分区单副本的 topic test：

  bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

　　查看 topic 列表：

bin/kafka-topics.sh --list --zookeeper localhost:2181

• 产生消息：使用 kafka-console-producer.sh 发送消息：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  

• 消费消息：使用 kafka-console-consumer.sh 接收消息并在终端打印：

  bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

• 查看描述 TOPICS 信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

3、错误处理：Caused by: java.net.UnknownHostException: hostname: unknown error

在/etc/hosts里添加下hostname和127.0.0.1的映射就可以了：比如 127.0.0.1  localhost

参考：

1、http://www.54tianzhisheng.cn/2018/01/04/Kafka/

2、

kafka的安装和使用

标签：解压   hosts   create   cal   conf   start   producer   终端   server   

原文地址：https://www.cnblogs.com/shengulong/p/9013282.html