1、NuGet添加2个包： Microsoft.Extensions.Logging.Log4Net.AspNetCore log4net.Kafka.Core 2、Program里修改CreateWebHostBuilder： 添加配置文件：在Config目录下创建log4net.config,内 ...
分类：
Web程序 时间：
2019-08-29 15:31:55
阅读次数：
98
Kafka简介 定义 Kafka是一个分布式流式处理平台，它提供三种角色：消息系统，存储系统，流式处理平台 组成 Kafka架构体系为实现消息模块包括了若干producer，broker和consumer，还有zookeeper集群来负责元数据的管理和控制器选举等操作。 生产者 主线程创建消息Pro ...
分类：
其他好文 时间：
2019-08-29 09:56:19
阅读次数：
96
消息队列高可用 ，`事务 签收 zookeeper+replicated leveldb store`的主从集群 异步发送 同步发送： 1. 明确指定同步发送 2. 未使用事务的前提下，发送持久化消息（会使用同步发送，且会阻塞producer直到broker返回一个确认，表示消息已持久化。会阻塞客户 ...
分类：
其他好文 时间：
2019-08-25 17:51:06
阅读次数：
108
配置 ActiveMQ安装目录的 中的``标签之内。 "配置示例" TCP（默认协议，性能相对可靠） Transmission Control Protocol(TCP) 1. 这是默认的Broker配置,TCP的Client监听端口61616 2. 在网络传输数据前，必须要序列化数据，消息是通过一 ...
分类：
其他好文 时间：
2019-08-25 11:38:49
阅读次数：
67
在安装Kafka集群的时候，碰到这个问题。 我们知道在搭建Kafka集群的时候，我们需要设置broker.id，以作为当前服务器在整个集群的唯一标志。 网上搜查资料是说，log.dirs目录下的meta.properties中配置的broker.id和配置目录下的server.properties中 ...
分类：
Web程序 时间：
2019-08-23 14:58:20
阅读次数：
157
在虚拟机安装centos7，要提前安装好jdk环境 工作流程：在ZooKeeper中管理多个Broker节点，根据 Master选举策略让其中一个 Broker选举为Master（只有Master才具备对外提供服务的能力），剩下Broker为slave。编码时，client端（消费者）通过failo ...
分类：
其他好文 时间：
2019-08-21 13:25:46
阅读次数：
83
1.kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 1.1 broker：安装了kafka服务的机器称之为broker 1.2 topic（主题）:是用来存放消息， ...
分类：
其他好文 时间：
2019-08-20 10:40:28
阅读次数：
73
在使用了最新版的 kafka-python 1.4.7 在 broker 对 topic 进行默认配置的情况下报出类似错误 这里要申明一点，在 1.4.0 以上的 kafka-python 版本使用了独立的心跳线程去上报心跳。 这里报错大概表达的意思是 无法在默认 300000ms 中完成处理操作。 ...
分类：
编程语言 时间：
2019-08-18 17:14:51
阅读次数：
269
最近开发一cdc应用，为了测试极端情况，需要kafka传递100万条数据过去，1个G左右，由于其他环节限制，不便进行拆包（注：测下来，大包走kafka不一定性能更好，甚至可能更低）。 测试百万以上的变更数据时，报消息超过kafka broker允许的最大值，因此需要修改如下参数，保证包能够正常发送： ...
分类：
其他好文 时间：
2019-08-17 18:07:09
阅读次数：
325
场景说明：当客户端与服务端在不同区域（跨防火墙，地址均做了映射）时，客户端访问kafka时会出现获取不到broker的问题，但是网络之间是互通的。但在跨防火墙下，client请求zookeeper的时候，zookeeper返回给client的brokerIP是kafka的实际地址，而不是映射地址，因此client会访问失败。案例：zk注册的信息解决方式一、
分类：
其他好文 时间：
2019-08-14 12:35:35
阅读次数：
107
