分布式存储的冗余类型（N+2：1） +1：冗余数据条带数量为1，允许任意1块硬盘故障或任意1个存储节点故障，而不影响数据完整性； +2：冗余数据条带数量为2，允许任意2块硬盘故障或任意2个存储节点故障，而不影响数据完整性； +3：冗余数据条带数量为3，允许任意3块硬盘故障或任意3个存储节点故障，而不 ...
分类：
其他好文 时间：
2019-12-25 15:54:04
阅读次数：
307
今天突然很想聊聊分布式系统，首先这个系统是需要划分出层次的； 分布式系统包括有很多，包括分布式计算系统，比如ｈａｄｏｏｐ， 还有分布式机器调度系统；ｋ８ｓ是一套容器编排系统 分布式存储系统； 他们干的事情有什么区别呢？ 是一套容器编排系统 他们有什么区别呢？ 没有什么区别，都是有一个中心节点，这些中 ...
分类：
其他好文 时间：
2019-12-24 23:25:35
阅读次数：
89
随着互联网、云计算及大数据等信息技术的发展，越来越多的应用依赖于对海量数据的存储和处理，如智能监控、电子商务、地理信息等，这些应用都需要对海量图片的存储和检索。由于图片大多是小文件(80%大小在数MB以内)，以GFS、HDFS为代表的适用于流式访问大文件的分布式存储系统，若直接用来存储图片，由于元数据膨胀，在扩展性和性能方面均存在严重问题。为了解决HDFS在小文件存储方面的问题，通常的做法是先将很
分类：
其他好文 时间：
2019-12-24 09:51:12
阅读次数：
72
本文章讲述kubernetes中的资源对象DeamonSet。
分类：
Web程序 时间：
2019-12-23 00:46:58
阅读次数：
163
GlusterFS简介开源的分布式文件系统由存储服务器，客户端以及NFS/Samba存储网关组成无元数据服务器GlusterFS特点扩展性和共性能高可用全局统一命名空间弹性卷管理基于标准协议GlusterFS概述Brick存储节点Volume卷fuse内核模块，用户端的交互性模块vfs虚拟Glusterd服务来理解一下这张图：上面一层虚拟化管理层，想当于一个应用。缓存，读写头，条带卷，代理想当于A
分类：
其他好文 时间：
2019-12-19 09:56:33
阅读次数：
185
作为明星产品，杉岩海量对象存储(SandStoneMOS)在企业级市场顺势推出后，即受到了广泛的认可和接纳，它在众多企业级用户的场景中具备独特的价值属性，例如：海量小文件的访问性能保障、分支总部间的信息高速分发、数据中心级的双活或多活容灾等等，都让用户在面临PB级甚至EB级规模的非结构化数据存储时，有了一个全新的兼顾成本和服务的选择。SandStoneMOS在接口兼容性、数据安全性、业务高可用、全
分类：
其他好文 时间：
2019-12-18 17:49:18
阅读次数：
82
一、Hadoop概述 1、Hadoop名字是由Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名，Hadoop是Apache开源的分布式存储+分布式计算平台。Hadoop能搭建大型数据仓库、PB级数据的存储、处理、分析、统计等业务，如搜索引擎、日志分析、商业智能、数据挖掘 2、狭义Ha ...
分类：
其他好文 时间：
2019-12-16 19:22:48
阅读次数：
100
参考： "CAP和BASE理论" https://juejin.im/post/5d720e86f265da03cc08de74 https://github.com/changmingxie/tcc transaction 《从Paxos到Zookeeper》 1. CAP理论 2000年7月，加 ...
分类：
其他好文 时间：
2019-12-15 00:31:17
阅读次数：
101
作为一款消息中间件，RocketMQ需要解决的技术问题其实在分布式系统领域中都有所体现。首先如果将分布式系统的领域按照分布式通信、分布式存储、分布式计算以及分布式管理这四大部分进行划分，其实就会发现在这四大技术栈下有很多的子技术。这里列举几个简单的例子，比如在分布式通信领域下对于网络协议的选择上面， ...
分类：
其他好文 时间：
2019-12-13 13:57:18
阅读次数：
78
MinIO 分布式集群搭建 分布式 Minio 可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式 Minio 避免了单点故障。 Minio 分布式模式可以搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。 （1）数据保护 ...
分类：
其他好文 时间：
2019-12-05 13:02:30
阅读次数：
252
