Spring Boot 2.3.0 已经发布,此版本主要更新内容包括: 依赖升级 新版本核心组件依赖升级 Spring Data Neumann Spring HATEOAS 1.1 Spring Integration 5.3 Spring Kafka 2.5 Spring Security 5. ...
分类:
编程语言 时间:
2020-05-21 00:14:26
阅读次数:
180
消费者组(consumer group) 官方定义: 消费者使用一个消费者组(即group.id)来标记自己,topic的每条消息都只会被发送到每个订阅它的消费者组的一个消费者实例上。 基本概念 ~~~text 所有consumer实例都属于相同group 实现基于队列的模型。每条消息只会被一个co ...
分类:
其他好文 时间:
2020-05-20 17:16:33
阅读次数:
48
kafka 相信都有听说过,不管有没有用过,在江湖上可以说是大名鼎鼎,就像天龙八部里的乔峰。国际惯例,先介绍生平事迹 简介 Kafka 是由 Apache软件基金会 开发的一个开源流处理平台,由 Scala 和 Java 编写。Kafka是一种高吞吐量的 分布式 ,支持分区(partition),多 ...
分类:
Web程序 时间:
2020-05-20 12:19:58
阅读次数:
73
__consumer_offsets 在 Kafka 源码中有个更为正式的名字,叫位移主题,即 Offsets Topic。需要注意的是,它有两个下划线哦 将 Consumer 的位移数据作为一条条普通的 Kafka 消息,提交到 __consumer_offsets 中 可以这么说,__consu ...
分类:
其他好文 时间:
2020-05-19 12:58:45
阅读次数:
67
Kafka是什么 Kafka最初是由LinkedIn公司采用Scala语言开发的一个分布式、多分区、多副本且基于ZooKeeper协调的内部基础设置,现已捐献给Apache基金会。Kafka是一个流平台,主要用来发布和订阅数据流,是流式数据处理的利器。Kafka用于构建实时数据管道和流应用程序,具有 ...
分类:
其他好文 时间:
2020-05-18 20:50:54
阅读次数:
67
Step 1: 下载Kafka 到官网下载后缀名为.tgz的文件,kafka_2.13-2.5.0.tgz,tgz是压缩文件,Windows需解压两次。 Step 2: Start Zookeeper service 启动kafka前需要先启动Zookeeper,CMD到kafka文件路径下 ? c ...
分类:
其他好文 时间:
2020-05-18 18:58:49
阅读次数:
71
docker安装部署kafka 1.下载镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 2.启动zookeeper容器 docker run -d --name zookeeper -p 2181:2181 - ...
分类:
其他好文 时间:
2020-05-18 16:45:31
阅读次数:
49
Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制 既然是一个组,那么组内必然可以有多个消费者或消费者实例(Consumer Instance),它们共享一个公共的 ID,这个 ID 被称为 Group ID 组内的所有消费者协调在一起来消费订阅主题(Subscrib ...
分类:
其他好文 时间:
2020-05-18 12:48:42
阅读次数:
76
Producer异步发送演示在上文中介绍了AdminClientAPI的使用,现在我们已经知道如何在应用中通过API去管理Kafka了。但在大多应用开发中,我们最常面临的场景就是发送消息到Kafka,或者从Kafka中消费消息,也就是典型的生产/消费模式。而本文将要演示的就是如何使用ProducerAPI将消息发送至Kafka中,使应用成为一个生产者。ProducerAPI具有以下几种发送模式:异
五类Kafka客户端作用和区别在上文中介绍了如何搭建一个Kafka服务,那么在开发中我们要如何去访问、集成Kafka呢?这就需要使用到本文将要介绍的Kafka客户端API。下图是官方文档中的一个图,形象表示了能与Kafka集成的客户端类型:这些客户端通过API与Kafka进行集成,Kafka的五类客户端API类型如下:AdminClientAPI:允许管理和检测Topic、broker以及其他Ka