上面的(http://www.cnblogs.com/guoyuanwei/p/3565088.html)介绍了部署了一个默认的分片集群,对mongoDB的分片集群有了大概的认识,到目前为止我们还没有在集群上建立其它数据库,mongoDB的分片是基于集合(表)来进行的,因此要对一个集合分片,必须先使其所在的数据库支持分片。如何使一个集合分片?如何选择分片用到的片键?平衡器如何使chunks块在片中迁移?分片的读写情况怎么样?接下来将探讨这些问题。
(1)连接到上面所配置集群中的mongos实例
> mongo --port 40009
(2)在集群中创建数据库eshop和集合users
mongos> use eshop
switched to db eshop
mongos> db.users.insert({userid:1,username:"lili",city:"beijing"})
此时在集合users中只有一条记录:
{ "_id" : ObjectId("521dcce715ce3967f964c00b"), "userid" : 1, "username" : "lili", "city" : "beijing" }
观察集群的状态信息,字段databases会增加一条记录,其它字段与初始化的集群信息相同:
mongos> sh.status()
databases:
{ "_id" : "eshop", "partitioned" : false, "primary" : "rs0" }
可以看到此时数据库eshop还没支持分片,且数据库中所有未分片的集合将保存在片rs0中;通过查看磁盘上的数据文件,此时会产生eshop.0、eshop.1、eshop.ns三个文件且位于rs0所对应的数据目录中,集群中chunks集合为空,因为现在还没有对集合users分片。
(3)分片
mongoDB的分片是基于范围的,也就是说任何一个文档一定位于指定片键的某个范围内,一旦片键选择好后,chunks就会按照片键来将一部分documents从逻辑上组合在一起。这里对users集合选择"city"字段作为片键来分片,假如现在"city"字段值有"beijing"、"guangzhou"、"changsha",初始的时候随机的向集群中插入包含以上字段值的文档,此时由于chunks的大小未达到默认的阈值64MB或100000个文档,集群中应该只有一个chunk,随着继续插入文档,超过阈值的chunk会被分割成两个chunks,最终的chunks和片键分布可能如下表格所示。表格只是大体上描述了分片的情况,实际可能有所变化,其中-∞表示所有键值小于"beijing"的文档,∞表示所有键值大于"guangzhou"的文档。这里还要强调一点就是chunks所包含的文档,并不是物理上的包含,它是一种逻辑包含,它只表示带有片键的文档会落在哪个范围内,而这个范围的文档对应的chunk位于哪个片是可以查询到的,后续的读写操作就定位到这个片上的具体集合中进行。
开始键值 |
结束键值 |
所在分片 |
-∞ |
beijing |
rs0 |
beijing |
changsha |
rs1 |
changsha |
guangzhou |
rs0 |
guangzhou |
∞ |
rs1 |
下面继续通过命令使集合users分片,使集合分片必须先使其所在的数据库支持分片,如下:
mongos> sh.enableSharding("eshop") //使数据库支持分片
对已有数据的集合进行分片,必须先在所选择的片键上创建一个索引,如果集合初始时没有任何数据,则mongoDB会自动在所选择的的片键上创建一个索引。
mongos> db.users.ensureIndex({city:1}) //创建基于片键的索引
mongos> sh.shardCollection("eshop.users",{city:1}) //使集合分片
成功执行上面命令后,再次查看集群状态信息:
mongos> sh.status()
--- Sharding Status ---
sharding version: {
"_id" : 1,
"version" : 3,
"minCompatibleVersion" : 3,
"currentVersion" : 4,
"clusterId" : ObjectId("521b11e0a663075416070c04")
}
shards:
{ "_id" : "rs0", "host" : "rs0/GUO:40000,GUO:40001" }
{ "_id" : "rs1", "host" : "rs1/GUO:40003,GUO:40004" }
databases:
{ "_id" : "admin", "partitioned" : false, "primary" : "config" }
{ "_id" : "eshop", "partitioned" : true, "primary" : "rs0" } //数据库已支持分片
eshop.users //分片的集合
shard key: { "city" : 1 } //片键
chunks: //所有块信息
rs0 1 //当前只有1个块在片rs0上
{ "city" : { "$minKey" : 1 } } -->> { "city" : { "$maxKe
y" : 1 } } on : rs0 { "t" : 1, "i" : 0 } //此块的包含键值范围是-∞到∞,且在片rs0上,因为此时集合中只有一条记录,还未进行块的分割、迁移
(4)继续插入数据使集合自动分片
为了观察到集合被分成多个chunk,并分布在多个片上,继续插入一些数据进行分析。
> for(var i = 1; i<10000;i++) db.users.insert({userid:i,username:"lili"+i,city:"beijing"})
> for(var i = 0; i<10000;i++) db.users.insert({userid:i,username:"xiaoming"+i,city:"changsha"})
> for(var i = 0; i<10000;i++) db.users.insert({userid:i,username:"xiaoqiang"+i,city:"guangzhou"})
通过以上三次循环插入文档后,第一个chunk的大小会超过64MB时,出现chunk分割与迁移的过程。再次观察集群的状态信息,字段databases值变为:
databases:
{ "_id" : "admin", "partitioned" : false, "primary" : "config" }
{ "_id" : "eshop", "partitioned" : true, "primary" : "rs0" }
eshop.users
shard key: { "city" : 1 }
chunks:
rs1 1
rs0 2
{ "city" : { "$minKey" : 1 } } -->> { "city" : "beijing"
} on : rs1 { "t" : 2, "i" : 0 } //块区间
{ "city" : "beijing" } -->> { "city" : "guangzhou" } on
: rs0 { "t" : 2, "i" : 1 } //块区间
{ "city" : "guangzhou" } -->> { "city" : { "$maxKey" : 1
} } on : rs0 { "t" : 1, "i" : 4 } //块区间
说明此时集群中有三个块,其中在片rs0上有两个块,在片rs1上有一个块,每个块包含一定区间范围的文档。为了更加清楚的知道这些块是如何分割和迁移的,可以查看changelog集合中的记录信息进行分析。
从命令db.changelog.find()输出内容中可以看到有以下几步:
第一步:分割大于64MB的块,原来此块的片键的区间范围是-∞到∞,分割后区间变为-∞到"beijing"、"beijing"到∞两个区间。
第二步:随着继续插入文档,区间"beijing"到∞所包含的块的大小超过64MB,此时这个区间又被分割为"beijing"到"guangzhou"、"guangzhou"到∞这两个区间。
第三步:经过上面的分割,现在相当于有三个区间块了,这一步做的就是将区间-∞到"beijing"对应的chunk从片rs0迁移到片rs1,最终结果是分片rs0上包含"beijing"到"guangzhou"、"guangzhou"到∞两个区间的块,分片rs1上包含区间-∞到"beijing"的块。
上面循环插入文档时还插入了片键值为"changsha"的记录,这个片键的记录应该都位于区间"beijing"到"guangzhou"所对应的chunk上,只不过由于chunk的大小还未达到64MB,所以还未进行分割,如果继续插入此片键的文档,区间可能会被分割为"beijing"到"changsha"、"changsha"到"guangzhou"这两个区间块。依次类推,mongoDB就是这样来实现海量数据的分布式存储的,同时由于每个片又是由复制集组成,保证了数据的可靠性。
mongoDB研究笔记:分片集群的工作机制,布布扣,bubuko.com
原文地址:http://www.cnblogs.com/guoyuanwei/p/3763027.html