ZooKeeper是一个高可用的分布式数据管理与系统协调框架。维护着一个树形层次结构,书中的节点被称为znode。znode可以用来存储数据,并且有一个与之相关联的ACL(权限),znode不能大于1M。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得 ...
分类:
其他好文 时间:
2016-08-05 00:49:21
阅读次数:
135
在一些业务场景及技术架构下,跨库的事务时不可避免的,这时候如何统一管理事务,保证事务的强一致性是整个系统稳定、可用基石。一些中间件如tuxedo、cics就是凭借这个能力占据了金融、电信、银行等很大的市场,捞取了大量的利润。 在java中,atomikos作为一个开源项目(有商业版本),提供了分布式 ...
分类:
其他好文 时间:
2016-06-21 17:46:14
阅读次数:
126
1.master挂机,传统做法备份必然是以前数据,该如何保证挂机数据与备份数据一致? 2.分布式系统如何实现对同一资源的访问,保证数据的强一致性? 3.集群中的worker挂了,传统做法是什么?zookeeper又是如何做的? 分布式系统的运行是很复杂的,因为涉及到了网络通信还有节点失效等不可控的情 ...
分类:
其他好文 时间:
2016-06-08 12:10:55
阅读次数:
176
业务的快速增长,要求系统在快速迭代的同时,保持很好的扩展性和可用性。其中,交易系统除了满足上述要求之外,还必须保持数据的强一致性。对系统开发人员而言,这既是机遇,也是挑战。本文主要梳理大众点评支付渠道网关系统在面对这些成长烦恼时的演进之路,以及过程中的一些思考和实践。
在整个系统的演进过程中,核心思路是:大系统做小,做简单(具体描述可参考《高可用性系统在大众点评的实践与经验》)。在渠道网关系...
分类:
其他好文 时间:
2016-05-27 12:18:34
阅读次数:
139
一、BASE理论 eBay的架构师Dan Pritchett源于对大规模分布式系统的实践总结,在ACM上发表文章提出BASE理论,BASE理论是对CAP理论的延伸,核心思想是即使无法做到强一致性(Strong Consistency,CAP的一致性就是强一致性),但应用可以采用适合的方式达到最终一致 ...
分类:
其他好文 时间:
2016-05-14 14:10:41
阅读次数:
212
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归类的
分类:
其他好文 时间:
2016-03-02 11:11:01
阅读次数:
188
在一些业务场景及技术架构下,跨库的事务时不可避免的,这时候如何统一管理事务,保证事务的强一致性是整个系统稳定、可用基石。一些中间件如tuxedo、cics就是凭借这个能力占据了金融、电信、银行等很大的市场,捞取了大量的利润。 在java中,atomikos作为一个开源项目(有商业版本),提供了分布式
分类:
其他好文 时间:
2016-02-11 11:11:39
阅读次数:
164
Hbase是一个强一致性数据库,不是“最终一致性”数据库,官网给出的介绍:“Strongly consistent reads/writes: HBase is not an "eventually consistent" DataStore. This makes it very suitable...
分类:
其他好文 时间:
2015-08-11 15:44:13
阅读次数:
305
集中式与分布式事务的另一个重要的不同点在于它们各自所需关注的错误的属性上。在集中式系统中,错误都是要么不错要么全错(all-or-nothing),也就是说要么系统正常工作事务正常处理,要么系统出错不会有任何事务完成。但是在分布式系统中,可能出现部分失败(partial failures)的情况,某些节点正常工作但是其他一些节点出错了。 这种局部失败的情况正是造成分布式系统中很多难解的问题的根源。...
分类:
其他好文 时间:
2015-08-08 00:01:50
阅读次数:
173
NoSQL数据库:数据的一致性
读取一致性
强一致性
在任何时间访问集群中任一结点,得到的数据结果一致;
用户一致性 对同一用户,访问集群期间得到的数据一致;
解决用户一致性:使用粘性会话,将会话绑定到特定结点来处理;
这样会降低负载均衡器的性能;
最终一致性
集群中各结点间由于数据同步不及时造成暂时的数据不一致,但数据同步完成后,最终具有一...
分类:
数据库 时间:
2015-08-07 13:21:02
阅读次数:
150