centos7搭建kafka集群-第二篇

#进入到Zookeeper的bin目录下
cd /opt/zookeeper/zookeeper-3.4.10/bin
#启动服务（3台都需要操作）
./zkServer.sh start

#检查服务器状态
./zkServer.sh status

#创建目录
mkdir /opt/kafka #创建项目目录
mkdir /opt/kafka/kafkalogs #创建kafka消息目录，主要存放kafka消息

#下载软件
cd /opt/kafka/
wget http://mirror.bit.edu.cn/apache/kafka/0.10.2.1/kafka_2.12-0.10.2.1.tgz

#解压软件
tar -zxvf kafka_2.12-0.10.2.1.tgz
#添加环境变量
在/etc/profile文件下增加

　export KAFKA_HOME=/opt/kafka/kafka_2.12-0.10.2.1

　export PATH=$KAFKA_HOME/bin:$PATH

  使用source /etc/profile使配置生效

cd /opt/kafka/kafka_2.12-0.10.2.1/config/

-rw-r--r-- 1 root root  906 Apr 22  2017 connect-console-sink.properties
-rw-r--r-- 1 root root  909 Apr 22  2017 connect-console-source.properties
-rw-r--r-- 1 root root 2760 Apr 22  2017 connect-distributed.properties
-rw-r--r-- 1 root root  883 Apr 22  2017 connect-file-sink.properties
-rw-r--r-- 1 root root  881 Apr 22  2017 connect-file-source.properties
-rw-r--r-- 1 root root 1074 Apr 22  2017 connect-log4j.properties
-rw-r--r-- 1 root root 2061 Apr 22  2017 connect-standalone.properties
-rw-r--r-- 1 root root 1199 Apr 22  2017 consumer.properties
-rw-r--r-- 1 root root 4369 Apr 22  2017 log4j.properties
-rw-r--r-- 1 root root 1900 Apr 22  2017 producer.properties
-rw-r--r-- 1 root root 5766 Nov 10 12:46 server.properties
-rw-r--r-- 1 root root 1032 Apr 22  2017 tools-log4j.properties
-rw-r--r-- 1 root root 1023 Apr 22  2017 zookeeper.properties

#broker.id=0  每台服务器的broker.id都不能相同


#hostname
listeners=PLAINTEXT://10.0.20.131:9092

#在log.retention.hours=168 下面新增下面三项
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880

#设置zookeeper的连接端口
zookeeper.connect=10.0.20.131:2181,10.0.20.131:2181,10.0.20.131:2181

#从后台启动Kafka集群（3台都需要启动）

kafka-server-start.sh -daemon /opt/kafka/kafka_2.12-0.10.2.1/config/server.properties

#执行命令jps
20348 Jps
4233 QuorumPeerMain
18991 Kafka

#创建Topic
kafka-topics.sh --create --zookeeper 10.0.20.131:2181 --replication-factor 2 --partitions 1 --topic shuaige
#解释
--replication-factor 2   #复制两份
--partitions 1 #创建1个分区
--topic #主题为shuaige

‘‘‘在一台服务器上创建一个发布者‘‘‘
#创建一个broker，发布者
kafka-console-producer.sh --broker-list 10.0.20.131:9092 --topic shuaige


‘‘‘在一台服务器上创建一个订阅者‘‘‘kafka-console-consumer.sh --zookeeper 10.0.20.132:2181 --topic shuaige --from-beginning

kafka-topics.sh --list --zookeeper 10.0.20.131:2181
#就会显示我们创建的所有topic

kafka-topics.sh --describe --zookeeper 10.0.20.121:2181 --topic shuaige
#下面是显示信息
Topic:ssports    PartitionCount:1    ReplicationFactor:2    Configs:
    Topic: shuaige    Partition: 0    Leader: 1    Replicas: 0,1    Isr: 1
#分区为为1  复制因子为2   他的  shuaige的分区为0 
#Replicas: 0,1   复制的为0，1

server.log #kafka的运行日志
state-change.log  #kafka他是用zookeeper来保存状态，所以他可能会进行切换，切换的日志就保存在这里

controller.log #kafka选择一个节点作为“controller”,当发现有节点down掉的时候它负责在游泳分区的所有节点中选择新的leader,这使得Kafka可以批量的高效的管理所有分区节点的主从关系。如果controller down掉了，活着的节点中的一个会备切换为新的controller.

#使用客户端进入zk
./zkCli.sh -server 10.0.20.131:2181  #默认是不用加’-server‘参数的因为我们修改了他的端口

#查看目录情况 执行“ls /”
[zk: 10.0.20.131:2181(CONNECTED) 0] ls /

#显示结果：[consumers, config, controller, isr_change_notification, admin, brokers, zookeeper, controller_epoch]
‘‘‘
上面的显示结果中：只有zookeeper是，zookeeper原生的，其他都是Kafka创建的
‘‘‘

#标注一个重要的
[zk: 10.0.20.131:2181(CONNECTED) 1] get /brokers/ids/0
{"jmx_port":-1,"timestamp":"1456125963355","endpoints":["PLAINTEXT://10.0.20.131:9092"],"host":"10.0.20.131","version":2,"port":9092}
cZxid = 0x1000001c1
ctime = Mon Nov 10 15:26:03 CST 2017
mZxid = 0x1000001c1
mtime = Mon Nov 10 15:26:03 CST 2017
pZxid = 0x1000001c1
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x152e40aead20016
dataLength = 139
numChildren = 0
[zk: 10.0.20.131:2181(CONNECTED) 2] 

#还有一个是查看partion
[zk: 10.0.20.131:2181(CONNECTED) 7] get /brokers/topics/shuaige/partitions/0
null
cZxid = 0x100000029
ctime = Mon Nov 10 15:26:03 CST 2017
mZxid = 0x100000029
mtime = Mon Nov 10 15:26:03 CST 2017
pZxid = 0x10000002a
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
[zk: 10.0.20.131:2181(CONNECTED) 8]