大家好,这是一个为了梦想而保持学习的博客。这个专题会记录我对于KAFKA的学习和实战经验,希望对大家有所帮助,目录形式依旧为问答的方式,相当于是模拟面试。 一、写在前面 本来是打算写到消费者模块的时候再详细看一下和写一下rebalance过程,但是前阵子遇到的rebalance的问题比较多,发现自己 ...
分类:
其他好文 时间:
2021-05-24 00:09:26
阅读次数:
0
一、kafka Kafka是一个分布式的消息系统。 二、解决问题 消息系统通常被应用于异步处理、应用解耦、流量削峰、消息通信等场景。 异步处理 image-20210315230129937 生产者将消息写入消息队列中,消费者异步拉取消息队列消息,从而提升消息处理能力。 应用解耦 image-202 ...
分类:
其他好文 时间:
2021-05-23 23:45:42
阅读次数:
0
Mysql配置读写数据库 ERROR 1227 (42000): Access denied; you need (at least one of) the SUPER privilege(s) for this operation 原因之前mysql的vi /etc/my.cnf 修改配置没有重启 ...
分类:
其他好文 时间:
2021-04-30 12:42:22
阅读次数:
0
build.gradle添加implementation libs.slf4jApi ...
分类:
其他好文 时间:
2021-04-30 12:19:59
阅读次数:
0
1、连接demo是采用的这篇博客中的内容: https://blog.csdn.net/weixin_39098944/article/details/108067005 主要代码如下: (1)添加依赖 1 <dependency> 2 <groupId>org.apache.kafka</grou ...
分类:
编程语言 时间:
2021-04-30 12:13:39
阅读次数:
0
1. 搭建测试环境安装 1.1 下载并启动docker-compose容器 # 该 Docker Compose 中包含的容器有: # DataGen:数据生成器。容器启动后会自动开始生成用户行为数据,并发送到 Kafka 集群中。默认每秒生成 1000 条数据,持续生成约 3 小时。也可以更改 d ...
分类:
数据库 时间:
2021-04-28 11:43:18
阅读次数:
0
Kafka 基本术语 对于 Kafka 基本原理的介绍,可以通过对以下基本术语的介绍进行。 2.1.1 Topic 主题。在 Kafka 中,使用一个类别属性来划分消息的所属类,划分消息的这个类称为 topic。 topic 相当于消息的分类标签,是一个逻辑概念。 2.1.2 Partition 分 ...
分类:
其他好文 时间:
2021-04-26 13:52:08
阅读次数:
0
kafka功能简单测试 启动zookeeper 启动zk命令: ./zhServer.sh start 启动akfka(注意server.properties的配置) 启动akfka命令:./kafka-server-start.sh /home/hadoop/app/kafka_2.11-0.9. ...
分类:
其他好文 时间:
2021-04-24 13:16:11
阅读次数:
0
spring: kafka: bootstrap-servers: 112.126.74.249:9092,112.126.74.249:9093 ###########【初始化生产者配置】########### producer: # 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选 ...
分类:
其他好文 时间:
2021-04-21 12:08:09
阅读次数:
0
市场上常见的消息队列有如下: ActiveMQ:基于JMS ZeroMQ:基于C语言开发 RabbitMQ:基于AMQP协议,erlang语言开发,稳定性好 RocketMQ:基于JMS,阿里巴巴产品 Kafka:类似MQ的产品;分布式消息系统,高吞吐量 用rabbitmq比较多 ...
分类:
其他好文 时间:
2021-04-19 15:27:26
阅读次数:
0