相同之处:都解决了数据缓存系统中数据如何存储与路由。 不同之处:区别在于虚拟节点和物理节点的映射办法不同 由于一般的哈希函数返回一个int(32bit)型的hashCode。因此,可以将该哈希函数能够返回的hashCode表示成一个范围为0 (2^32)-1 环 数据和节点使用相同的hash函数来保 ...
分类:
编程语言 时间:
2017-08-29 02:04:37
阅读次数:
318
副本放置策略CRUSH算法的设置目的是使数据能够根据设备的存储能力和宽带资源加权平均地分布,并保持一个相对的概率平衡。副本放置在具有层次结构的存储设备中,这对数据安全也有重要影响。通过反射系统的物理安装组织,CRUSH算法可以将系统模块化,从而定位潜在的设备故障。这..
分类:
其他好文 时间:
2017-08-08 00:42:46
阅读次数:
239
1、2016.12.27 ceph简介 crush算法 2、2016.12.27 openstack matadata (config driver/ metadata rest api<nova-api-metadata><neutron-metadata-agent><neutron-ns-me ...
分类:
其他好文 时间:
2016-12-28 01:19:42
阅读次数:
283
在分布式系统中,数据最终还是要存储到物理设备上的,ceph的底层设备抽象角色是OSD,那么数据是如何被决定放在哪块OSD上的,答案就是CRUSH算法。 关键字:CRUSH、一致性hash、ceph数据分布 总体来说,数据存储分为2个阶段 1,首先根据一般的hash算法,对数据x的hash数值进行PG ...
分类:
编程语言 时间:
2016-12-18 12:14:13
阅读次数:
183
一、概述 Ceph是一个分布式存储系统,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展,ceph乘上了OpenStack的春风,进而成为了开源社区受关注较高的项目之一。Ceph有以下优势: 1. CRUSH算法 Crush算法是ceph的两大创新之一,简单来说,c ...
分类:
其他好文 时间:
2016-12-15 14:49:50
阅读次数:
279
原文地址 CEPH CRUSH algorithm source code analysis
http://www.shalandis.com/original/2016/05/19/CEPH-CRUSH-algorithm-source-code-analysis/
文章比较深入的写了CRUSH算法的原理和过程.通过调试深入的介绍了CRUSH计算的过程.文章中添加了些内容.写在前面读本文前,...
分类:
编程语言 时间:
2016-06-12 03:33:12
阅读次数:
1130
1、简介 随着大规模分布式存储系统(PB级的数据和成百上千台存储设备)的出现。这些系统必须平衡的分布数据和负载(提高资源利用率),最大化系统的性能,并要处理系统的扩展和硬件失效。ceph设计了CRUSH(一个可扩展的伪随机数据分布算法),用在分布式对象存储系统上,可以有效映射数据对象到存储设备上(不 ...
分类:
编程语言 时间:
2016-06-08 00:13:41
阅读次数:
1377
转自于:http://www.cnblogs.com/shanno/p/3958298.html?utm_source=tuicool数据分布是分布式存储系统的一个重要部分,数据分布算法至少要考虑以下三个因素:1) 故障域隔离。同份数据的不同副本分布在不同的故障域,降低数据损坏的风险;2) 负载均衡...
分类:
编程语言 时间:
2015-06-19 18:17:32
阅读次数:
190
root@mon0:~# ceph osd tree# id weight type name up/down reweight-1 0.05997 root default-2 0.02998 host osd01 0.009995 osd.1 up 12 0.009995 osd.2 up 13...
分类:
编程语言 时间:
2015-06-19 18:12:35
阅读次数:
1688
Ceph配置参数(一)
Ceph配置参数(二)
8、MONITOR CONFIG REFERENCE
http://ceph.com/docs/master/rados/configuration/mon-config-ref/
客户端在读写数据前,都比去和monitor取得联系,获得cluster map,结合CRUSH算法计算得到对象的位置。
(1...
分类:
其他好文 时间:
2014-12-11 20:58:57
阅读次数:
908