标签：har blank ali path log logs 拆分 报错 大型
1、基本介绍
MongoDB部署架构分为单机、复制集群、分片集群。单机适合学习用，分片集群比较复杂且运维难度高。
分片集群是把大型数据集进行拆分，分片到多个MongoDB节点上，这些节点组成了分片集群。分片结构如下：
2、词汇表
Shard：分片，存储集群中的一部分数据。可以是单个mongo服务器，也可以是复制集。生产环境推荐使用复制集。
Config Server：配置服务器。存储集群的元数据，比如集群的分片信息。mongos 启动时会从配置服务器读取元数据到内存中。配置服务器必须是复制集。
Routers：mongos 路由。负责接收客户端请求，并将请求路由到集群内部对应的分片上。
Shard Key：分片键。对于每个需要分片的 collection，通过指定分片键进行分片。分片键必须是索引字段或者是组合索引的左前缀。
Range分区：范围分区算法。分片键必须是数字或者字符串类型，根据分片键将数据分成不同的 chunk，每个 chunk 互相临近但不重叠。
Hash分区：哈希分区算法。计算分片键的hash值，并以此作为 Range 分区。这种方式可以将document更加随机的分散到不同 chunk 上
虚拟机三台(Centos7.6)，分别安装好MongoDB。
分片集群中，一共10个节点：2个分片(每个分片是3个复制集)， 1个config(3个复制集)，1个路由。
服务网格信息如下：
| 角色 | IP | Node |
| 分片0复制集 | 192.168.20.100:27017、192.168.20.101:27017、192.168.20.102:27017 | 1主1从1仲裁 |
| 分片1复制集 | 192.168.20.100:27018、192.168.20.101:27018、192.168.20.102:27018 | 1主1从1仲裁 |
| config复制集 | 192.168.20.100:28018、192.168.20.101:28018、192.168.20.102:28018 | 1主2从 |
| mongos节点 | 192.168.20.100:29019 |
1、在100/101/102机器上，创建目录：
mkdir -p /usr/local/mongo/share/data/db #分片0的数据保存路径 mkdir -p /usr/local/mongo/share/data/db2 #分片1的数据保存路径 mkdir -p /usr/local/mongo/share/conf mkdir -p /usr/local/mongo/share/pids mkdir -p /usr/local/mongo/share/logs
2、在100/101/102机器上，/usr/local/mongo/share/conf 目录下，添加分片0复制集的配置文件：mongo.conf ：
#数据保存路径 dbpath=/usr/local/mongo/share/data/db/ #日志保存路径 logpath=/usr/local/mongo/share/logs/mongo.log #进程描述文件 pidfilepath=/usr/local/mongo/share/pids/mongo.pid #日志追加写入 logappend=true #复制集名称 replSet=rs0 bind_ip_all=true #mongo端口 port=27017 #操作日志容量 oplogSize=10000 #开启子进程 fork=true #代表当前节点是一个shard节点 shardsvr=true
3、在100/101/102机器上，/usr/local/mongo/share/conf 目录下，添加分片1复制集的配置文件：mongo2.conf ：
#数据保存路径 dbpath=/usr/local/mongo/share/data/db2/ #日志保存路径 logpath=/usr/local/mongo/share/logs/mongo2.log #进程描述文件 pidfilepath=/usr/local/mongo/share/pids/mongo2.pid #日志追加写入 logappend=true #复制集名称 replSet=rs1 bind_ip_all=true #mongo端口 port=27018 #操作日志容量 oplogSize=10000 #开启子进程 fork=true #代表当前节点是一个shard节点 shardsvr=true
4、在100/101/102机器上，分别启动 mongod 服务：
#分片0(rs0) /usr/local/mongo/bin/mongod -f /usr/local/mongo/share/conf/mongo.conf #分片1(rs1) /usr/local/mongo/bin/mongod -f /usr/local/mongo/share/conf/mongo2.conf
5、登录复制集：
#分片0(rs0) /usr/local/mongo/bin/mongo --host 192.168.20.100 --port 27017 #分片1(rs1) /usr/local/mongo/bin/mongo --host 192.168.20.100 --port 27018
6、初始化复制集：
#分片0(rs0) rs.initiate({ _id:"rs0", members:[ {_id:0, host:"192.168.20.100:27017", priority:3}, {_id:1, host:"192.168.20.101:27017", priority:2}, {_id:2, host:"192.168.20.102:27017", arbiterOnly:true} ] }); #分片1(rs1) rs.initiate({ _id:"rs1", members:[ {_id:0, host:"192.168.20.100:27018", priority:3}, {_id:1, host:"192.168.20.101:27018", priority:2}, {_id:2, host:"192.168.20.102:27018", arbiterOnly:true} ] });
1、在100/101/102机器上，创建目录：
mkdir -p /usr/local/mongo/config-server/data/db mkdir -p /usr/local/mongo/config-server/conf mkdir -p /usr/local/mongo/config-server/pids mkdir -p /usr/local/mongo/config-server/logs
2、在100/101/102机器上，/usr/local/mongo/config-server/conf 目录下，添加复制集的配置文件：mongo-cfg.conf
dbpath=/usr/local/mongo/config-server/data/db logpath=/usr/local/mongo/config-server/logs/mongo.log pidfilepath=/usr/local/mongo/config-server/pids/mongo.pid logappend=true replSet=rs_conf bind_ip_all=true port=28018 oplogSize=10000 fork=true #代表当前节点是一个config节点 configsvr=true
3、在100/101/102机器上，分别启动配置复制集：
/usr/local/mongo/bin/mongod -f /usr/local/mongo/config-server/conf/mongo-cfg.conf
4、登录复制集：
/usr/local/mongo/bin/mongo --host 192.168.20.100 --port 28018
5、初始化复制集：
rs.initiate({ _id:"rs_conf", configsvr: true, members:[ {_id:0, host:"192.168.20.100:28018", priority:2}, {_id:1, host:"192.168.20.101:28018", priority:1}, {_id:2, host:"192.168.20.102:28018", priority:1} ] });
本案例只配置了一个Router，生产环境通常配置多个。Router不需要数据目录(dbpath)，只需要提供 config server 信息
1、在100机器上，创建目录：
mkdir -p /usr/local/mongo/router/conf mkdir -p /usr/local/mongo/router/pids mkdir -p /usr/local/mongo/router/logs
2、在 /usr/local/mongo/router/conf 目录下，创建 Router 的配置文件：mongo-router.conf
configdb=rs_conf/192.168.20.100:28018,192.168.20.101:28018,192.168.20.102:28018 logpath=/usr/local/mongo/router/logs/mongos.log pidfilepath=/usr/local/mongo/router/pids/mongos.pid port=29019 fork=true bind_ip_all=true
3、启动 Router 服务：
/usr/local/mongo/bin/mongos -f /usr/local/mongo/router/conf/mongo-router.conf
4、连接 Router 节点：
/usr/local/mongo/bin/mongo --host 192.168.20.100 --port 29019
5、切换到 admin 库
use admin
6、添加分片信息：
#分片0 db.runCommand({addShard: "rs0/192.168.20.100:27017,192.168.20.101:27017,192.168.20.102:27017", name: "share0"}); #分片1 db.runCommand({addShard: "rs1/192.168.20.100:27018,192.168.20.101:27018,192.168.20.102:27018", name: "share1"});
7、查看分片：
db.runCommand({listshards: 1})
8、查看分片状态：
sh.status()
1、测试分片--哈希策略
连接 Router 节点并切换到 admin 库。对测试库 xwjdb 开启分片功能：
sh.enableSharding("xwjdb")
对集合 account 分片，分片键为 nickname，分片策略为哈希：
sh.shardCollection("xwjdb.account", {"nickname": "hashed"})
切换到 xwjdb 库。向 account 集合中，循环插入1000条数据：
for(var i=1; i<=1000; i++){db.account.insert({_id: i+"", nickname: "xwj"+i})}
分别连接 分片0 和 分片1 节点，并切换到 xwjdb 库。查询 account 集合数据条数：
db.account.count()
分片0的数据是505条，分片2是495条，总数正好是1000条，说明数据分片成功了
结论：基于哈希策略的分片算法，数据会均匀的分配到不同的分片节点上
2、测试分片-范围策略
数据块(chunk)默认大小是64M，填满后才会考虑向其它片的数据块填充数据，因此，为了测试可以将其改小，这里改为1M：
use config db.setting.save({"_id": "chunksize", "value": 1})
1、一个集合只能有一个分片键
2、删除所有数据和日志信息：
rm -rf /usr/local/mongo/config-server/logs/* rm -rf /usr/local/mongo/config-server/data/db/* rm -rf /usr/local/mongo/share/data/db/* rm -rf /usr/local/mongo/share/data/db2/* rm -rf /usr/local/mongo/share/logs/* rm -rf /usr/local/mongo/router/logs/*
1、config server复制集初始化时，报错：
问题原因：搭建config server复制集时，不能有仲裁节点(Arbiters)，否则初始化失败
解决办法：复制集使用一主两从
标签：har blank ali path log logs 拆分 报错 大型
原文地址：https://www.cnblogs.com/xuwenjin/p/14783792.html
