kafka基础命令

标签：policy   trie   shu   host   cut   beginning   factor   assign   interval   

kafka名词解释

1.producer：
　　消息生产者，发布消息到 kafka 集群的终端或服务。
2.broker：
　　kafka 集群中包含的服务器。
3.topic：
　　每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。
4.partition：
　　partition 是物理上的概念，每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。
5.consumer：
　　从 kafka 集群中消费消息的终端或服务。
6.Consumer group：
　　high-level consumer API 中，每个 consumer 都属于一个 consumer group，
　　每条消息只能被 consumer group 中的一个 Consumer 消费，但可以被多个 consumer group 消费。
7.replica：
　　partition 的副本，保障 partition 的高可用。
8.leader：
　　replica 中的一个角色， producer 和 consumer 只跟 leader 交互。
9.follower：
　　replica 中的一个角色，从 leader 中复制数据。
10.controller：
　　kafka 集群中的其中一个服务器，用来进行 leader election 以及 各种 failover。
12.zookeeper：
　　kafka 通过 zookeeper 来存储集群的 meta 信息。

kafka命令：

#1.[启动zookeeper]
bin/zookeeper-server-start.sh -daemon /usr/local/kafka/kafka_2.12-0.11.0.0/config/zookeeper.properties
#2.[启动kafka]
bin/kafka-server-start.sh -daemon config/server.properties

#查看topic列表
bin/kafka-topic.sh --list --zookeeper 127.0.0.1:2181
#通过控制台x消费某个topic的数据
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicName --from-beginning
#查看topic的消费进度
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group test123 --topic test
bin/kafka-run-class.sh  kafka.tool

#
sh bin/kafka-server-start.sh config/server.properties
#
bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list

#
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test-reliability-consumer-group --describe
#
bin/kafka-topic.sh --zookeeper 127.0.0.1:2181 --topic testReliability --describe

#
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test-reliability-consumer-group --describe

#
./bin/zookeeper-server-start.sh ./config/zookeeper.properties
sh bin/kafka-server-start.sh config/server.properties

#
./bin/kafka-topic.sh --create --zookeeper 127.0.0.1:2181 --replication-factor l --partitions 3 --topic tklmk-copic-bjp
#
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic policy-topic --time -1


1.查看topic的详细信息  

./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1  

2、为topic增加副本  

./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute  

3、创建topic 

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1  

4、为topic增加partition  

./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1  

5、kafka生产者客户端命令  

./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1  

6、kafka消费者客户端命令  

./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1  

7、kafka服务启动  

./kafka-server-start.sh -daemon ../config/server.properties   

8、下线broker  

./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60  

shutdown broker  

9、删除topic  

./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181  

./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1  

10、查看consumer组内消费的offset  

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1

kafka基础命令

标签：policy   trie   shu   host   cut   beginning   factor   assign   interval   

原文地址：https://www.cnblogs.com/meidan-fq/p/12534008.html