1. 消息生产者、消息者、队列 消息生产者Producer：发送消息到消息队列。 消息消费者Consumer：从消息队列接收消息。 Broker：概念来自与Apache ActiveMQ，指MQ的服务端，帮你把消息从发送端传送到接收端。 消息队列Queue：一个先进先出的消息存储区域。消息按照顺序发 ...
分类：
其他好文 时间：
2019-12-17 22:01:53
阅读次数：
62
1.概述最近和一些同学交流的时候反馈说，在面试Kafka时，被问到Kafka组件组成部分、API使用、Consumer和Producer原理及作用等问题都能详细作答。但是，问到一个平时不注意的问题，就是Kafka的幂等性，被卡主了。那么，今天笔者就为大家来剖析一下Kafka的幂等性原理及实现。2.内容2.1Kafka为啥需要幂等性？Producer在生产发送消息时，难免会重复发送消息。Produc
分类：
其他好文 时间：
2019-12-13 23:49:36
阅读次数：
167
1. 客户端认证 如果kafka客户端是认证的，那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。 对clientId=clientA的客户端添加限流设置。producer_byte_rate表示每秒最多能写入到消息量，单位为byte/sec。cons ...
分类：
其他好文 时间：
2019-12-11 12:53:34
阅读次数：
219
生产者 package com.java.se.producer; import java.util.concurrent.BlockingQueue; public class Producer implements Runnable{ private BlockingQueue<Integer> ...
分类：
其他好文 时间：
2019-12-10 00:35:54
阅读次数：
108
1 详细异常 2 问题原因 Maxwell无法启动，kafka挂了 ...
分类：
数据库 时间：
2019-12-08 00:51:26
阅读次数：
420
[toc] Kafka生产者端 可靠性保证： producer向broker发送消息数据，需要有一定的可靠性，至少要保证数据： 1、不丢失 2、不重复 producer提供了一些参数，在编写producer是进行合理设置和编写，就可以保证数据的可靠性。 acks 参数配置 为保证producer发送 ...
分类：
编程语言 时间：
2019-12-07 23:16:20
阅读次数：
165
RocketMQ是阿里开源的分布式消息中间件，跟其它中间件相比，RocketMQ的特点是纯JAVA实现；集群和HA实现相对简单；在发生宕机和其它故障时消息丢失率更低。 一.RocketMQ专业术语 Producer（生产者） 消息生产者，位于用户的进程内，Producer通过NameServer获取 ...
分类：
其他好文 时间：
2019-12-07 23:06:19
阅读次数：
134
环境 jdk: 8u22rocketmq: rocketmq-all-4.5.2-bin-releasespringboot: 2.1.6.RELEASErocketmq-springboot: 2.0.3 发送流程（事务消息） Rocket发送事务消息：1、由producer发送prepare（半 ...
分类：
编程语言 时间：
2019-12-04 18:32:23
阅读次数：
359
prodcer同步发送的机制虽然能保证消息不丢失，但是不推荐生产环境使用，性能很差。一般都是采用异步方式发送消息，把消息先放入缓冲区，然后再由IO线程推送出去，存在消息丢失的风险，而且可能发生乱序。 下面给出Kafka无消息丢失的配置： Producer端配置 block.on.buffer.ful ...
分类：
其他好文 时间：
2019-12-01 23:04:21
阅读次数：
213
本文代码使用的是Spring Boot 2.1.8.RELEASE 版本 1、 pom.xml文件，引入依赖 采用Kafka提供的StringSerializer和StringDeserializer进行序列化和反序列化 2、在application-dev.properties配置生产者 3、生产 ...
分类：
编程语言 时间：
2019-11-28 16:27:49
阅读次数：
102
