所有文章 https://www.cnblogs.com/lay2017/p/12078232.html 正文 前面的文章中,我们先了解了2pc,知道了2pc强一致性导致的资源被长时间锁住的问题。而后,我们又了解了3pc,3pc在2pc的基础上增加了超时机制,企图解决强一致性带来的问题,但是超时机制 ...
分类:
其他好文 时间:
2020-01-01 16:50:59
阅读次数:
95
一、2PC 2PC即两阶段提交协议,是将整个事务流程分为两个阶段, 准备阶段 (Prepare phase)、 提交阶段 (commit phase),2是指两个阶段,P是指准备阶段,C是指提交阶段 整个事务过程由事务管理器和参与者组成,事务管理器负责 决策整个分布式事务的提交和回滚,事务参与者负责 ...
分类:
其他好文 时间:
2019-12-31 01:36:53
阅读次数:
124
本文从数据倾斜的危害、现象、原因等方面,由浅入深阐述Spark数据倾斜及其解决方案。 ...
分类:
其他好文 时间:
2019-12-30 11:24:02
阅读次数:
99
所有文章 https://www.cnblogs.com/lay2017/p/12078232.html 正文 在讲1pc事务提交协议的时候我们说过,1pc适合单个数据源,如果在分布式场景下需要面对多个数据源的时候它就心有余而力不足了。 两阶段提交协议 1pc的根本问题在于无法协调多个数据源,为此就 ...
分类:
其他好文 时间:
2019-12-27 00:16:22
阅读次数:
56
分布式事务之解决方案(XA和2PC) https://zhuanlan.zhihu.com/p/93459200 3. 分布式事务解决方案之2PC(两阶段提交) 针对不同的分布式场景业界常见的解决方案有2PC、TCC、可靠消息最终一致性、最大努力通知这几种。 3.1. 什么是2PC 2PC即两阶段提 ...
分类:
其他好文 时间:
2019-12-22 18:38:49
阅读次数:
142
在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE,kafka使用的版本为1.1.0,flink的版本为1.8.0,但是会很经常因为提交事务引起错误,甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。
查看kafka documentation和... ...
分类:
其他好文 时间:
2019-12-16 13:10:45
阅读次数:
522
分布式事务了解吗?如果解决分布式事务问题的? 面试官心里: 只要聊到你做了分布式系统,必问分布式事务,起码得知道有哪些方案,一般怎么来做,每个方案的优缺点是什么。 为什么要有分布式事务? 分布式事务实现的几种方案: 1. 两阶段提交方案/XA方案 这种分布式事务方案,比较适合单块应用里。跨多个库的分 ...
分类:
编程语言 时间:
2019-12-15 14:18:20
阅读次数:
73
我们都知道数据库的事务具有ACID的四个属性:原子性,一致性,隔离性和持久性。然后在多线程操作的情况下,如果不能保证事务的隔离性,就会造成数据的修改丢失(事务2覆盖了事务1的修改结果)、读到脏数据(事务2读到了事务1未回滚的数据)、不可重读(事务2读到了事务1未提交的修改)和幻读(事务2读到了事务1 ...
分类:
数据库 时间:
2019-12-11 00:02:52
阅读次数:
166
原文地址: "the runtime configuration design" 运行时重新配置是分布式系统中最难,最容易出错的部分,尤其是在基于共识(像etcd)的系统中。 阅读并学习关于etcd的运行时重新配置命令设计和如何追溯这些错误. 两阶段配置更新保证集群安全 在etcd中,每一次运行时重 ...
分类:
其他好文 时间:
2019-11-26 13:23:09
阅读次数:
69
ref: https://blog.csdn.net/whyangwanfu/article/details/1926675 可串行化 事务集并发执行产生的任何调度的执行效果等价于这些事务按某个串行顺序执行的结果。 可串行化可通过并发控制机制( 两阶段封锁协议 )来保证。 冲突可串行化 只考虑rea ...
分类:
数据库 时间:
2019-11-23 09:16:55
阅读次数:
95