这次的场景是，外部模块接受到消息会调用我们的回调接口，更新发送消息前插入的数据，但现在出现了插入的数据找不到的情况，而进入数据库查看插入的数据是存在的 @Transctional public CmsCustomerDetailResult getDetail(){ //操作数据库，插入数据 ... ...
分类：
其他好文 时间：
2020-08-11 10:37:42
阅读次数：
71
一，安装librdkafka sudo wget https://github.com/edenhill/librdkafka/archive/v0.9.4.tar.gz -O librdkafka-0.9.4.tar.gzsudo tar -zxvf librdkafka-0.9.4.tar.gz ...
分类：
系统相关 时间：
2020-08-10 13:18:13
阅读次数：
81
1.Kafka 中的 ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么? 1、AR = ISR+OSR ISR: kafka 使用多副本来保证消息不丢失，多副本就涉及到kafka的复制机制，在一个超大规模的集群中，时不时地这个点磁盘坏了，那个点c ...
分类：
其他好文 时间：
2020-08-09 14:23:57
阅读次数：
86
最近看了@JavaGuide发布的一篇『面试官问我如何保证Kafka不丢失消息?我哭了！』，这篇文章承接这个主题，来聊聊如何保证RocketMQ不丢失消息。0x00.消息的发送流程一条消息从生产到被消费，将会经历三个阶段：生产阶段，Producer新建消息，然后通过网络将消息投递给MQBroker存储阶段，消息将会存储在Broker端磁盘中消息阶段，Consumer将会从Broker拉取消息以上任
分类：
其他好文 时间：
2020-08-05 18:15:11
阅读次数：
81
1.文件目录布局 Kafka消息以日志文件的形式存储，不同主题下不同分区的消息分开存储，同一个分区的不同副本分布在不同的broker上存储 逻辑上看来日志是以副本为单位的，每个副本对应一个log对象，实际在物理上，一个log划分为多个logSegment 创建一个topic为3个分区，会在log.d ...
分类：
其他好文 时间：
2020-08-05 00:12:43
阅读次数：
100
Apache 存储了很多的开源软件 Hadoop 处理大数据 kafka 消息队列 下载Nginx 解压nginx 进入nginx目录 cat README.md ./config --help 后2个参数分别是: 支持https 支持nginx状态页面 conf 配置文件(各种设置) html 存 ...
分类：
其他好文 时间：
2020-08-04 09:45:53
阅读次数：
82
简单小记： 第一步：首先启动zookeeper 直接去 D:\Tool\zookeeper-3.4.14\bin， 运行 zkServer.cmd 第二步: 启动kafka 服务 //新建cmd窗口（管理员运行）: cd D:\Tool\zookeeper-3.4.14\ .\bin\windows ...
1、应用场景实时数据流通过kafka后，根据业务需求，一部分直接借助kafka-connector入Elasticsearch不同的索引中。另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。如下图所示：业务系统的分层结构可分为：接入层、数据处理层、数据存储层、接口层。那么问题来了？我们需要基于聚合（数据处理层）的结果实现检索和聚合分析操作，如何实现更快的检索和更高效
分类：
其他好文 时间：
2020-08-03 09:46:14
阅读次数：
76
数据一致性问题：消费一致性和存储一致性 例如：一个leader 写入 10条数据，2个follower（都在ISR中），F1、F2都有可能被选为Leader,例如选F2 .后面Leader又活了。可能造成每个副本数据不一致 F1 8条 F2 9条 LEO:每个副本的最后一个offset。例如 F1的 ...
分类：
其他好文 时间：
2020-08-03 00:49:16
阅读次数：
120
