说明 分布式存储系统通常通过维护多个副本来进行容错,提高系统的可用性。要实现此目标,就必须要解决分布式存储系统的最核心问题:维护多个副本的一致性。 首先需要解释一下什么是一致性(consensus),它是构建具有容错性(fault-tolerant)的分布式系统的基础。 在一个具有一致性的性质的集群 ...
分类:
其他好文 时间:
2021-06-13 10:00:48
阅读次数:
0
Copyset模块结合chunk的放置共同解决了集群数据如何分布的问题,这里主要的设计考虑点是数据分布的均衡性以充分利用磁盘空间和避免热点。 1. 背景 Curve是网易数帆在2020年7月份开源的一个高性能、高可用、高可靠的分布式存储系统,主打高性能、低延迟。 Github代码仓库:https:/ ...
分类:
其他好文 时间:
2021-05-24 04:54:22
阅读次数:
0
1. Ceph架构简介及使用场景介绍 1.1 Ceph简介 Ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。在经过了数年的发展之后,目前已得到众多云计算厂商的支持并 ...
分类:
其他好文 时间:
2021-04-01 13:35:25
阅读次数:
0
《1分钟了解区块链的本质》,介绍了什么是区块链,区块链是一个没有管理员,每个节点都拥有全部数据,高可用的分布式存储系统。《1分钟了解挖矿的本质》,介绍了什么是挖矿,挖矿是在最新区块链的数据上,生成一个符合条件的区块,链入区块链的过程。有不少朋友问,全球每个区块链节点都包含全部数据,都在最新的区块链数据上挖符合条件的区块,如何两个节点同时挖到新区块,出现数据不一致,该怎么办呢?今天,花1分钟和大家介
分类:
其他好文 时间:
2020-11-18 12:18:41
阅读次数:
3
上一篇《1分钟了解区块链的本质》,介绍了什么是区块链,区块链是一个没有管理员,每个节点都拥有全部数据,高可用的分布式存储系统。文章的留言里,不少朋友会用比特币来解释区块链,那区块链与比特币是什么关系?答:区块链是分布式存储,比特币是基于该存储的应用,其他诸如莱特币,以太币都是基于区块链的电子货币应用。理论上,使用上层应用来解释底层存储是不合适的。如上图,mysql是底层存储,wechat是上层应用
分类:
其他好文 时间:
2020-11-18 12:18:23
阅读次数:
4
知乎HBase实践前言HBase是一个基于Hadoop面向列的非关系型分布式数据库(NoSQL),设计概念来源于谷歌的BigTable模型,面向实时读写、随机访问大规模数据集的场景,是一个高可靠性、高性能、高伸缩的分布式存储系统,在大数据相关领域应用广泛.HBase系统支持对所存储的数据进行透明切分,从而使得系统的存储以及计算具有良好的水平扩展性.知乎从2017年起开始逐渐采用HBase系统存储各
分类:
其他好文 时间:
2020-11-06 01:07:32
阅读次数:
22
一、Rook、ceph简介Ceph分布式存储系统Ceph是一种高度可扩展的分布式存储解决方案,提供对象、文件和块存储。在每个存储节点上,您将找到Ceph存储对象的文件系统和CephOSD(对象存储守护程序)进程。在Ceph集群上,您还可以找到CephMON(监控)守护程序,它们确保Ceph集群保持高可用性。RookRook是一个开源的cloud-nativestorage编排,提供平台和框架;为各
分类:
其他好文 时间:
2020-10-24 11:43:42
阅读次数:
23
HDFS-硬盘文件分布式公链骤然崛起你知道吗?随着数字内容的增长,数据指数不断的增长。面对海量的数据,传统的存储缺点也越来越明显,如扩展性差、单点故障等。为了克服上述缺点,满足海量数据的存储需求,市场上出现了分布式存储技术。分布式存储的兴起与互联网的发展密不可分,互联网公司由于其数据量大而资本积累少,而通常都使用大规模分布式存储系统。现阶段互联网技术以及硬件的发展,分布式系统的出现、演变一直未曾止
分类:
其他好文 时间:
2020-09-17 13:56:22
阅读次数:
24
HDFS-硬盘文件分布式公链骤然崛起你知道吗?随着数字内容的增长,数据指数不断的增长。面对海量的数据,传统的存储缺点也越来越明显,如扩展性差、单点故障等。为了克服上述缺点,满足海量数据的存储需求,市场上出现了分布式存储技术。分布式存储的兴起与互联网的发展密不可分,互联网公司由于其数据量大而资本积累少,而通常都使用大规模分布式存储系统。现阶段互联网技术以及硬件的发展,分布式系统的出现、演变一直未曾止
分类:
其他好文 时间:
2020-09-17 13:56:08
阅读次数:
27
GlusterFS 3节点的复制集,由于磁盘故障,其中一个复制集需要重装系统,所以需要重装glusterfs并将该节点加入glusterfs集群 一. 安装GlusterFS 首先在重装系统节点安装 glusterfs Centos yum -y install centos-release-glu ...
分类:
其他好文 时间:
2020-08-07 12:31:43
阅读次数:
70