码迷,mamicode.com
首页 > 其他好文 > 详细

ceph 之 crush存储规则理解

时间:2018-07-09 12:28:13      阅读:2313      评论:0      收藏:0      [点我收藏+]

标签:font   replicat   分布   center   replica   dump   ssis   replicate   family   

    ceph是分布式存储,其中对于数据的存储规则是一个重点和难点。比如每个数据块的数据备份是3份,3份数据是怎么分布的?ceph的crush 就是解决数据分布规则的问题。

    应用端直接使用的是pool,pool是由存储的基本单位pg组成,pg分布在磁盘逻辑单元osd上,osd一般是对应一块物理硬盘,osd分布在物理主机host,host分布在机框chassis中,机框chassis分布在机架rack中,几家rack分布在机柜阵列raw中,后面可以继续归属,->pdupod->room->datacenter 。其中host/chasis/rack 等等在ceph属于中叫做bucket(桶),各个级别的bucket是默认的,当有特殊需求的时候,可以自定义新的级别bucket,比如新定义一个bucket级别host-SSD ,专门将SSD盘的OSD归入这个bucket中。

    OSD归类完成之后,数据的分布需要使用规则,比如回到上面的问题,每个数据块的数据备份是3份,3份数据是怎么分布的?首先,应用端使用pool,假定3个基本数据单元需要存放到3个pg中,这个时候就需要确定使用哪3个pg,需要遵从rule,这个rule 也是crush定义的。

    下面以新建一个容纳ssd磁盘的bucket,以及相对应的rule为例,简单罗列一下crush的相关命令:

创建ssd root

ceph osd crush add-bucket ssd root

//创建一个新的桶叫ssd ,级别是root最高级

创建hostgroup

ceph osd crush add-bucket ssd-hosts chasis

//创建一个新的桶叫ssd-hosts ,级别是机框chasis

ceph osd crush move ssd-hosts root=ssd

//将ssd-hosts归入ssd

创建host

ceph osd crush add-bucket ssd-m1 host

//创建一个新的桶叫ssd-m1 ,级别是主机host

ceph osd crush add-bucket ssd-compute host

//创建一个新的桶叫ssd-compute ,级别是host

ceph osd crush move ssd-m1 chasis=ssd-hosts

//将ssd-m1归入ssd-hosts

ceph osd crush move ssd-compute chasis=ssd-hosts

//将ssd-compute归入ssd-hosts

移动osd

ceph osd crush set osd.0 1.0 host=ssd-m1

//将osd.0 移动到主机host=ssd-m1 中

ceph osd crush set osd.1 1.0 host=ssd-compute

//将osd.1 移动到主机host=ssd-compute 中

创建crush rule

ceph osd crush rule create-simple ssd ssd host firstn

//创建crush rule,rule名称是ssd,root=ssd,tpye=host,mode=firstn 

显示rule规则

ceph osd crush rule dump

[

    {

        "rule_id": 0,

        "rule_name": "replicated_ruleset",

        "ruleset": 0,

        "type": 1,

        "min_size": 1,

        "max_size": 10,

        "steps": [

            {

                "op": "take",

                "item": -1,

                "item_name": "default"

            },

            {

                "op": "chooseleaf_firstn",

                "num": 0,

                "type": "host"

            },

            {

                "op": "emit"

            }

        ]

    },

    {

        "rule_id": 1,

        "rule_name": "ssd",

        "ruleset": 1,

        "type": 1,

        "min_size": 1,

        "max_size": 10,

        "steps": [

            {

                "op": "take",

                "item": -9,

                "item_name": "ssd"

            },

            {

                "op": "chooseleaf_firstn",

                "num": 0,

                "type": "host"

            },

            {

                "op": "emit"

            }

        ]

    }

]

    可以看到有2个规则,1个是默认规则,1个是规则ssd 。


创建pool以及使用rule

规则有了之后,接下来就是使用了。在创建pool的时候,可以指定rule。

ceph osd pool create ssd 128 128

ceph osd pool set ssd crush_ruleset 1  //这个ruleid 1 就是上面新创建的规则


ceph 之 crush存储规则理解

标签:font   replicat   分布   center   replica   dump   ssis   replicate   family   

原文地址:http://blog.51cto.com/yuweibing/2139084

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!