Ceph可以说是当今最流行的分布式存储系统了，本文记录一下安装和配置Ceph的详细步骤。 提前配置工作 从第一个集群节点开始的，然后逐渐加入其它的节点。对于Ceph，我们加入的第一个节点应该是Monitor，我们设置为Monitor1。 我使用的操作系统是Ubuntu Server 19.10，目前 ...
分类：
其他好文 时间：
2020-02-06 14:46:58
阅读次数：
104
磁盘阵列 与 分布式存储 简单理解 磁盘阵列将多个磁盘组合成一个大磁盘, 并通过编码, 冗余等方式使它带有容错功能(防止数据丢失), 从而提高了存储可靠性。 而分布式存储则是将数据分布在不同物理位置, 并通过网络把它连接起来。 磁盘阵列可以应用于分布式存储系统中, 也可以集中式存储系统中。 打个比方 ...
分类：
其他好文 时间：
2020-01-04 20:42:46
阅读次数：
92
先来一波介绍： 指纹是指系统给每一个文件指定的唯一的id，使文件能唯一指定。 如果不同用户存储的文件有相同的部分，则直接将之前用户相同部分拿来调用，省去了重复上传和下载的工作。 tracker-server与storage-server都是可以分小组进行工作的，这样有利于不同的操作同时进行，同时存储 ...
分类：
Web程序 时间：
2019-12-30 21:03:11
阅读次数：
101
概述HBase是谷歌公司BigTable的开源实现。BigTable是一个分布式存储系统，利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据，使用谷歌分布式文件系统GFS作为底层数据存储，并采用Chubby提供协同服务管理，可以扩展到PB级别的数据和上千台机器，具备广泛应用型、可扩展性... ...
分类：
其他好文 时间：
2019-12-26 11:13:14
阅读次数：
155
今天突然很想聊聊分布式系统，首先这个系统是需要划分出层次的； 分布式系统包括有很多，包括分布式计算系统，比如ｈａｄｏｏｐ， 还有分布式机器调度系统；ｋ８ｓ是一套容器编排系统 分布式存储系统； 他们干的事情有什么区别呢？ 是一套容器编排系统 他们有什么区别呢？ 没有什么区别，都是有一个中心节点，这些中 ...
分类：
其他好文 时间：
2019-12-24 23:25:35
阅读次数：
89
随着互联网、云计算及大数据等信息技术的发展，越来越多的应用依赖于对海量数据的存储和处理，如智能监控、电子商务、地理信息等，这些应用都需要对海量图片的存储和检索。由于图片大多是小文件(80%大小在数MB以内)，以GFS、HDFS为代表的适用于流式访问大文件的分布式存储系统，若直接用来存储图片，由于元数据膨胀，在扩展性和性能方面均存在严重问题。为了解决HDFS在小文件存储方面的问题，通常的做法是先将很
分类：
其他好文 时间：
2019-12-24 09:51:12
阅读次数：
72
GlusterFS简介开源的分布式文件系统由存储服务器，客户端以及NFS/Samba存储网关组成无元数据服务器GlusterFS特点扩展性和共性能高可用全局统一命名空间弹性卷管理基于标准协议GlusterFS概述Brick存储节点Volume卷fuse内核模块，用户端的交互性模块vfs虚拟Glusterd服务来理解一下这张图：上面一层虚拟化管理层，想当于一个应用。缓存，读写头，条带卷，代理想当于A
分类：
其他好文 时间：
2019-12-19 09:56:33
阅读次数：
185
HBase基本概念与基本使用 https://www.cnblogs.com/swordfall/p/8737328.html 分类: HBase undefined 1. HBase简介 1.1 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术 ...
分类：
其他好文 时间：
2019-11-30 19:35:08
阅读次数：
98
一：Ceph基础介绍Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。Ceph相比其它存储的优势点在于它不单单是存储，同时还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于Ceph的良好设计，采用了CRUSH算法、HASH环等方法，使得它不存在
分类：
其他好文 时间：
2019-11-30 12:05:24
阅读次数：
573
分布式、海量数据新摩尔定律，根据IDC作出的预测，数据一直都在以每年50%的速度增长，也就是说每两年增加一倍，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。分布式环境下的RPC调用速度更慢，差不多是单机环境的100倍；但可以通过扩展，使性能线性增长。 分布式存储是云存储和大数据的基础 ...
分类：
其他好文 时间：
2019-10-06 13:42:40
阅读次数：
90
