码迷,mamicode.com
首页 > 其他好文 > 详细

3.kafka安装配置

时间:2020-01-22 16:16:55      阅读:82      评论:0      收藏:0      [点我收藏+]

标签:配置   zookeeper   网络请求   ret   echo   syn   request   end   server   

kafka安装配置

1.集群规划

hadoop102                   hadoop103               hadoop104
zk                          zk                      zk
kafka                       kafka                   kafka

jar包下载
http://kafka.apache.org/2downloads.html

2.集群部署

1)解压安装包

$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/

2)修改解压后的文件名称(可选)

$ mv kafka_2.11-0.11.0.0/ kafka

3)在/opt/module/kafka目录下创建logs文件夹

$ mkdir logs

4)修改配置文件

$ cd config/
$ vi server.properties

输入以下内容:

#broker的全局唯一编号,不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径??????
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

5)配置环境变量

$ sudo vi /etc/profile.d/my_env.sh

添加以下内容:

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

重开会话生效。

6)分发安装包

$ xsync kafka/

???????注意:分发之后记得配置其他机器的环境变量。或者直接分发配置好的环境变量:

$ sudo xsync /etc/profile.d/my_env.sh

7)分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1broker.id=2
注:broker.id不得重复

8)启动集群

依次在hadoop102、hadoop103、hadoop104节点上启动kafka

$ cd $KAFKA_HOME
$ bin/kafka-server-start.sh -daemon config/server.properties
$ bin/kafka-server-start.sh -daemon?config/server.properties
$ bin/kafka-server-start.sh -daemon?config/server.properties

9)关闭集群
在每台机器分别执行以下命令

$ bin/kafka-server-stop.sh

或者使用第10步中的脚本

$ kafka.sh stop

10)kafka群起脚本

$ cd /bin
$ sudo vim kafka.sh 
#! /bin/bash
case $1 in
    start )
        for i in hadoop102 hadoop103 hadoop104; do
            echo "========== $i =========="
            ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
        done
        ;;
        stop )
        for i in hadoop102 hadoop103 hadoop104; do
            echo "========== $i =========="
            ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh"
        done
        ;;
esac

3.kafka安装配置

标签:配置   zookeeper   网络请求   ret   echo   syn   request   end   server   

原文地址:https://www.cnblogs.com/zhqin/p/12228705.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!