码迷,mamicode.com
首页 > 其他好文 > 详细

老王带你走过 Kafka 入门教程

时间:2018-08-28 10:30:12      阅读:148      评论:0      收藏:0      [点我收藏+]

标签:keep   star   local   消费者   targe   replica   elastic   系统   分区   

技术分享图片

Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发.

Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。

技术分享图片

主要构建如下:

1、话题(Topic):是特定类型的消息流。消息是字节的有效负载(Payload),话题是消息的分类名或种子(Feed)名;

2、生产者(Producer):是能够发布消息到话题的任何对象;

3、服务代理(Broker):已发布的消息保存在一组服务器中,它们被称为代理(Broker)或Kafka集群;

4、消费者(Consumer):可以订阅一个或多个话题,并从Broker拉数据,从而消费这些已发布的消息;

kfaka最简单的生产者与消费者相关操作:

pom.xml引入依赖jar包

技术分享图片

生产者:

技术分享图片

消费者:

 技术分享图片

修改配置文件相关配置

启动 zookeeper 服务
bin/zookeeper-server-start.sh config/zookeeper.properties

启动 kafka Broker 服务
bin/kafka-server-start.sh config/server.properties

 

创建一个单分区单副本的 topic: topicLog
bin/kafka-topics.sh --create --zookeeper localhost:26005 --replication-factor 1 --partitions 1 --topic topicLog
Created topic "topicLog".

 

注:记得设置jdk
export JAVA_HOME=/home/tomcat/jdk-1.8 
export PATH=$JAVA_HOME/bin:$PATH

 

bin/kafka-console-producer.sh --broker-list 172.17.0.8:26006 --topic topicLog
bin/kafka-console-consumer.sh --zookeeper 172.17.0.8:26005 --topic topicLog --from-beginning


bin/kafka-topics.sh --zookeeper localhost:26005 --delete --topic topicLog


但是运行命令后,topic并没有被删除,使用 “bin/kafka-topics.sh –list –zookeeper localhost:26005”

仍然可以查到。此时我们需要修改config/server.properties文件中的 “delete.topic.enable=true”

来打开这个功能。此时我们再执行上面的 –delete 操作,即可删除topic了。

综述:我们现在项目中均是以kafka作为生产者。由storm 或者logstash去消费相关消息。从而实现我们的相关的业务分析。数据分析。

 

—————————————————————————————————

推荐阅读:

ElasticSearch(head)

6 个重构方法可帮你提升 80% 的代码质量

filebeat+kafka+strom+logstash+es 舆情采集系统

大数据核心技术

老王带你走过 Kafka 入门教程

标签:keep   star   local   消费者   targe   replica   elastic   系统   分区   

原文地址:https://www.cnblogs.com/Javame/p/9545960.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!