背景不知道是否你还在为下面的问题而困扰：?当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。?当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。?当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据库的还好，如果是不同数据库就不能保证事务，那么数据一致性也是个问题，就会写很
分类：
其他好文 时间：
2020-10-29 09:41:24
阅读次数：
16
1.缓存的收益与成本 收益 加速读写 降低后端负载 后端服务器通过前端缓存降低负载，业务端使用Redis降低后端MySql等数据库负载 成本 数据不一致：缓存层和数据层有时间窗口不一致，和更新策略有关 代码维护成本增大：多了一层缓存逻辑 运维成本：例如Redis Cluster 2.缓存更新策略 L ...
分类：
其他好文 时间：
2020-09-18 01:33:06
阅读次数：
26
1.问题背景 最近测试用mongoshake工具做MongoDB数据迁移,mongoshake在迁移完成提供了一个脚本comparison.py来做数据校验,在校验过程中发现结果比对存在一个库数据不一致,下意识以为mongoshake存在缺陷导致迁移丢数据,理论上这种基础功能不应该存在错误,多次重新 ...
分类：
数据库 时间：
2020-08-17 17:01:03
阅读次数：
80
数据一致性问题：消费一致性和存储一致性 例如：一个leader 写入 10条数据，2个follower（都在ISR中），F1、F2都有可能被选为Leader,例如选F2 .后面Leader又活了。可能造成每个副本数据不一致 F1 8条 F2 9条 LEO:每个副本的最后一个offset。例如 F1的 ...
分类：
其他好文 时间：
2020-08-03 00:49:16
阅读次数：
120
1.redo log 和 bin log的流程及区别 1、更新内存，然后写redo日志。后续的流程是生成此操作的binlog，然后写到磁盘。 2、redo日志是存储引擎实现的，记录的在某个数据页做了什么修改，固定大小，默认为4GB，可以循环写，解决了每次更新操作写磁盘、查找记录、然后更新整个过程效率 ...
分类：
数据库 时间：
2020-07-24 21:19:49
阅读次数：
98
1、为什么要用锁？ 锁-是为了解决并发操作引起的脏读、数据不一致的问题。 2、锁实现的基本原理 2.1、volatile Java编程语言允许线程访问共享变量， 为了确保共享变量能被准确和一致地更新，线程应该确保通过排他锁单独获得这个变量。Java语言提供了volatile，在某些情况下比锁要更加方 ...
分类：
编程语言 时间：
2020-07-24 09:33:02
阅读次数：
63
分布式领域，CP模型下 数据一致性协议至关重要，不然两边数据不一致容易出现数据读混乱问题。像Etcd Consul zookeeper Eureka ,Redis集群方案这些中间件 都有一致性算法来保证数据一致性像Redis集群数据同步采用grosip是一个体现最终一致性协议算法，其他的算是强一致... ...
分类：
其他好文 时间：
2020-07-22 11:23:30
阅读次数：
70
本文源码：GitHub·点这里||GitEE·点这里一、分布式事务简介1、转账经典案例跨地区和机构的转账的业务在实际生活中非常常见，基础流程如下：账户01通过一系列服务和支付的流程，把钱转入账户02，在这一过程中，如果账户01出现出账成功，但是账户02没有入账，这就导致数据不一致，违反了基本的事务原则。基于数据归属在不同服务和不同的数据库中，这种情况下的事务出错被称为分布式事务问题。2、基本概念分
分类：
其他好文 时间：
2020-07-10 09:57:03
阅读次数：
50
本文源码：GitHub·点这里 || GitEE·点这里 一、分布式事务简介 1、转账经典案例 跨地区和机构的转账的业务在实际生活中非常常见，基础流程如下： 账户01通过一系列服务和支付的流程，把钱转入账户02，在这一过程中，如果账户01出现出账成功，但是账户02没有入账，这就导致数据不一致，违反了 ...
分类：
其他好文 时间：
2020-07-09 23:56:29
阅读次数：
80
1.问题来因 本地测试环境： Django 3.0.6 mysql 5.7.17 在Django中使用orm model中定义的char类型 与 数字进行比较时，返回的结果集不正确。 查看翻译成的sql语句， 在mysql中执行没有问题。 2.部分代码 查询条件： # 目的为筛选出给定字段不为nul ...
分类：
其他好文 时间：
2020-07-08 19:29:43
阅读次数：
83
