分布式多副本的存储系统,通常依据PAXOS设计一致性协议。当副本数量变化时候,PAXOS的多数派的值也会发生变化,如何在不中断服务的情况下,实现安全一致的副本数量变化方案,raft中提出了joint consensus的概念,然而,这种方案并没有给出形式化的严格证明。本文从严格的PAXOS出发,提出了一种可形式化证明的成员变更方法。...
分类:
其他好文 时间:
2014-08-25 19:26:44
阅读次数:
224
前一段时间在《大型分布式存储与实践》中作者提http://到一个观点:弄清楚PAXOS协议会大大增强你对分布式系统理解的信心。后来陆陆续续看过网络上的一些PAXOS的介绍,包括PAXOS的历史、PAXOS的第一版论文(The Part-Time
Parlinment)、第二版论文( Paxos Made Simple)以及chubby的论文。都没太搞懂里面的细节,后来结合wiki上对paxos...
分类:
其他好文 时间:
2014-08-25 19:26:24
阅读次数:
222
一般来说,在实际运行中,ceph monitor的个数是2n+1(n>=0)个,在线上至少3个,只要正常的节点数>=n+1,ceph的paxos算法能保证系统的正常运行。所以,对于3个节点,同时只能挂掉一个。一般来说,同时挂掉2个节点的概率比较小,但是万一挂掉2个呢?
分类:
其他好文 时间:
2014-08-21 00:01:33
阅读次数:
312
Multi Paxos基于Basic Paxos,将原来2-Phase过程简化为了1-Phase,从而加快了提交速度。Multi Paxos要求在各个Proposer中有唯一的Leader,并由这个Leader唯一地提交value给各Acceptor进行表决,在系统中仅有一个L...
分类:
其他好文 时间:
2014-08-20 18:13:43
阅读次数:
298
维基的简介:Paxos算法是莱斯利·兰伯特(Leslie Lamport,就是 LaTeX 中的"La",此人现在在微软研究院)于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。Paxos算法目前在Google的Chubby、MegaStore、Spanner等系统中得到了应用,Ha...
分类:
其他好文 时间:
2014-08-17 18:29:12
阅读次数:
260
原文请参考【[置顶]Paxos master选举--PaxosLease算法】众所周知,为了避免Paxos算法的活锁问题,必须选举唯一的proposor。偏偏在Paxos原论文中,作者L. Lamport不屑于讨论这个问题,因为选举过程中,即使出现多个master共存,也不影响Paxos算法正确性。...
分类:
其他好文 时间:
2014-08-07 12:19:20
阅读次数:
425
请先参考前文:Paxos算法11.编号处理根据P2c,proposer在提案前会先咨询acceptor查看其批准的最大的编号和value,再决定提交哪个value。之前我们一直强调更高编号的proposal,而没有说明低编号的proposal该怎么处理。|--------低编号(LN)-------...
分类:
其他好文 时间:
2014-08-07 12:12:20
阅读次数:
258
006年的OSDI有两篇google的论文,分别是BigTable和Chubby。Chubby是一个分布式锁服务,基于Paxos算法;BigTable是一个用于管理结构化数据的分布式存储系统,构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了BigTab...
分类:
其他好文 时间:
2014-07-26 09:54:57
阅读次数:
376
先简单的理解,以后补充:为了解决hadoop分布式系统的一致性问题 ,有很多人提出很多protocol,其中就有有名的Paxos算法(Latex作者提出,算法需要学习),但是Chubby并不是一个算法或者protocol,它是一项service,是一个lock service,这个service的实...
分类:
其他好文 时间:
2014-07-14 20:52:46
阅读次数:
250
Facebook最近公布了Apollo,它是Facebook的一种类似于Paxos的NoSQL数据库。Apollo构建于ApacheThrift2RPC框架,采用C++11开发,是一种分层存储系统,所有数据被划分到Shard,非常类似于HBase中的区域服务器。它最大的好处是在线低延迟存储,特别是在Flash和内存中。区别于面向..
分类:
数据库 时间:
2014-07-05 23:05:16
阅读次数:
377