码迷,mamicode.com
首页 > 其他好文 > 详细

Docker搭建Kafka

时间:2019-08-24 22:45:11      阅读:118      评论:0      收藏:0      [点我收藏+]

标签:conf   create   数据   int   sts   listeners   图片   index   top   

下载Kafka和Zookeeper镜像文件

1,docker pull wurstmeister/kafka
2,docker pull wurstmeister/zookeeper

先运行zk,再运行kafka


1,启动zk
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 2,启动kafka
docker run --name kafka01 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.91.66:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.91.66:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -d wurstmeister/kafka

创建主题

进入到容器中:
 docker exec -it kafka01 /bin/bash
创建主题: my_log
/opt/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.91.66:2181 --replication-factor 1 --partitions 1 --topic my_log

技术图片

技术图片

 

 在项目代码我们可以进行AOP日志处理,将异常信息 发送到Kafaka 然后 Logstash订阅话题,将数据写入到ES中。

 

Logstash配置:  通过Logstash去订阅主题,主题要保持一致与代码,与创建的主题。

input {
  kafka {
    bootstrap_servers => "192.168.91.66:9092"
    topics => ["goods_mylog"]
  }
}
output {
    stdout { codec => rubydebug }
    elasticsearch {
       hosts => ["192.168.91.66:9200","192.168.91.66:9201"]
       index => "goods_mylog"
    }
}

 

启动Logstash: ./bin/logstash -f  goods_mylog.conf

 

Docker搭建Kafka

标签:conf   create   数据   int   sts   listeners   图片   index   top   

原文地址:https://www.cnblogs.com/toov5/p/11406325.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!