1.简介Ceph:开源的分布式存储系统。主要分为对象存储、块设备存储、文件系统服务。Ceph核心组件包括:CephOSDs、Monitors、Managers、MDSs。Ceph存储集群至少需要一个CephMonitor,CephManager和CephOSD(对象存储守护进程)。运行CephFilesystem客户端时也需要Ceph元数据服务器(MetadataServer)。CephOSDs:
分类:
其他好文 时间:
2018-08-08 13:44:44
阅读次数:
136
一、MFS概述(1)分布式原理分布式文件系统(isributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。简单来说,就是把一些分散的(分布在局域网内各个计算机上)共享文件夹,集合到一个文件夹内(虚拟共享文件夹)。对于用户来说,要访问这些共享文件夹时,只要打开这个虚拟共享文件夹,就可以看到所有链接到虚拟共享文件夹内的共享文件夹,用户
分类:
其他好文 时间:
2018-08-06 10:25:07
阅读次数:
199
ceph + ceph是一个分布式存储系统 + Ceph提供了三种存储类型:块存储、文件存储和对象存储,本文主要介绍对象存储的RGW基本原理和应用场景。 CRUSH算法 + 一般的分布式系统都会采用一个或者多个中心服务用来控制数据的分布,这种机制使得每次IO操作都会先去一个地方查询数据在集群中的元数 ...
分类:
其他好文 时间:
2018-08-05 12:56:29
阅读次数:
132
分布式原理分布式文件系统是指文件系统管理的物理存储资源下不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的优点是集中访问、简化操作、数据容灾,以及提高了文件的存取性能。MFS分布式文件系统MFS是一种半分布式文件系统,它是由波兰人开发的。MFS文件系统能够实现RAID的功能,不但能够更节约存储成本,而且不比专业的存储系统差,它还可以实现在线扩展。MFS原理MFS是一个具有容
分类:
其他好文 时间:
2018-07-29 21:13:35
阅读次数:
151
1. Hbase简介 1.1. 什么是hbase(面向列) HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模 结构化存储集群。 HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万 ...
分类:
其他好文 时间:
2018-07-20 11:18:39
阅读次数:
146
前言 工作需要,第一次使用 Go 来实战项目。 需求:采用 golang 实现一个 webapi 的中转网关,将一些资源文件通过 http 协议上传至 FastDFS 分布式文件存储系统。 一、FastDFS 与 golang 对接的代码 github:https://github.com/weil ...
分类:
编程语言 时间:
2018-07-17 16:39:42
阅读次数:
287
在互联网领域里,大数据和云计算是当前界内两大热门话题,构建其基础设施目标都是低成本、高性能、可扩展,易用的分布式存储系统,所以该系统有两大特点,一是规模大,二是成本低。 分布式存储系统的挑战主要在于数据、状态信息的持久化,要求在自动化迁移,自动化容错,并发读写的过程中保证数据的一致性,分布式存储系统 ...
分类:
其他好文 时间:
2018-07-16 17:19:27
阅读次数:
125
1 Ceph基础介绍 Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统,根据场景划分可以将Ceph分为三大块,分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里,比较常用到的是Ceph的块设备存储,比如在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的cin ...
分类:
其他好文 时间:
2018-07-06 19:39:42
阅读次数:
228
Apache HBase简介 Apache HBase(Hadoop DataBase)是一个高可靠行、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可以在廉价的PC上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利 ...
分类:
其他好文 时间:
2018-07-05 12:13:23
阅读次数:
200
分布式系统实践 1. 十问 TiDB :关于架构设计的一些思考 https://mp.weixin.qq.com/s/m2_Mf0-x_KpPHbnOawyy2A 摘要: 文章描述的这些问题其实也是设计一个分布式存储系统通常需要考虑的问题, 尽管文章以TiDB为背景, 但是仍然对分布式系统的设计有很 ...
分类:
其他好文 时间:
2018-06-29 19:30:49
阅读次数:
218