最近看了@JavaGuide发布的一篇『面试官问我如何保证Kafka不丢失消息?我哭了！』，这篇文章承接这个主题，来聊聊如何保证RocketMQ不丢失消息。0x00.消息的发送流程一条消息从生产到被消费，将会经历三个阶段：生产阶段，Producer新建消息，然后通过网络将消息投递给MQBroker存储阶段，消息将会存储在Broker端磁盘中消息阶段，Consumer将会从Broker拉取消息以上任
分类：
其他好文 时间：
2020-08-05 18:15:11
阅读次数：
81
1.文件目录布局 Kafka消息以日志文件的形式存储，不同主题下不同分区的消息分开存储，同一个分区的不同副本分布在不同的broker上存储 逻辑上看来日志是以副本为单位的，每个副本对应一个log对象，实际在物理上，一个log划分为多个logSegment 创建一个topic为3个分区，会在log.d ...
分类：
其他好文 时间：
2020-08-05 00:12:43
阅读次数：
100
Apache 存储了很多的开源软件 Hadoop 处理大数据 kafka 消息队列 下载Nginx 解压nginx 进入nginx目录 cat README.md ./config --help 后2个参数分别是: 支持https 支持nginx状态页面 conf 配置文件(各种设置) html 存 ...
分类：
其他好文 时间：
2020-08-04 09:45:53
阅读次数：
82
简单小记： 第一步：首先启动zookeeper 直接去 D:\Tool\zookeeper-3.4.14\bin， 运行 zkServer.cmd 第二步: 启动kafka 服务 //新建cmd窗口（管理员运行）: cd D:\Tool\zookeeper-3.4.14\ .\bin\windows ...
1、应用场景实时数据流通过kafka后，根据业务需求，一部分直接借助kafka-connector入Elasticsearch不同的索引中。另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。如下图所示：业务系统的分层结构可分为：接入层、数据处理层、数据存储层、接口层。那么问题来了？我们需要基于聚合（数据处理层）的结果实现检索和聚合分析操作，如何实现更快的检索和更高效
分类：
其他好文 时间：
2020-08-03 09:46:14
阅读次数：
76
数据一致性问题：消费一致性和存储一致性 例如：一个leader 写入 10条数据，2个follower（都在ISR中），F1、F2都有可能被选为Leader,例如选F2 .后面Leader又活了。可能造成每个副本数据不一致 F1 8条 F2 9条 LEO:每个副本的最后一个offset。例如 F1的 ...
分类：
其他好文 时间：
2020-08-03 00:49:16
阅读次数：
120
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-08-01 12:38:39
阅读次数：
93
