概念

• mongos
  数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。
• config server
  顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！
• shard
  分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。
• replica set
  中文翻译副本集，其实就是shard的备份，防止shard挂掉之后数据丢失。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。
• 仲裁者（Arbiter）
  是复制集中的一个MongoDB实例，它并不保存数据。仲裁节点使用最小的资源并且不要求硬件设备，不能将Arbiter部署在同一个数据集节点中，可以部署在其他应用服务器或者监视服务器中，也可部署在单独的虚拟机中。为了确保复制集中有奇数的投票成员（包括primary），需要添加仲裁节点做为投票，否则primary不能运行时不会自动切换primary。

总结一下，应用请求mongos来操作mongodb的增删改查，配置服务器存储数据库元信息，并且和mongos做同步，数据最终存入在shard（分片）上，为了防止数据丢失同步在副本集中存储了一份，仲裁在数据存储到分片的时候决定存储到哪个节点。

环境准备

系统：cenos7.4
服务器： 10.10.16.52/53/54
mongodb包: mongodb-linux-x86_64-rhel70-3.6.3.tgz

规划

集群搭建

安装mongodb

wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-3.6.3.tgz
cd /usr/lcoal/
ln -sf mongodb-linux-x86_64-rhel70-3.6.3/ mongodb

分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录，因为mongos不存储数据，只需要建立日志文件目录即可。

mkdir -p /data/mongodb/conf
mkdir -p /data/mongodb/mongos/log
mkdir -p /data/mongodb/config/data
mkdir -p /data/mongodb/config/log
mkdir -p /data/mongodb/shard1/data
mkdir -p /data/mongodb/shard1/log
mkdir -p /data/mongodb/shard2/data
mkdir -p /data/mongodb/shard2/log
mkdir -p /data/mongodb/shard3/data
mkdir -p /data/mongodb/shard3/log

添加用户、配置环境变量

useradd -M -u 8000 -s /sbin/nologin mongo
chown -R mongo.mongo /usr/local/mongodb
chown -R mongo.mongo /data/mongodb

config server 配置服务

mongodb3.4以后要求配置服务器也创建副本集，不然集群搭建不成功

添加配置文件

cat >> /data/mongodb/conf/config.conf << EOF
## 配置文件内容
pidfilepath = /data/mongodb/config/log/config-srv.pid
dbpath = /data/mongodb/config/data
logpath = /data/mongodb/config/log/config-srv.log
logappend = true
 
bind_ip = 0.0.0.0
port = 21000
fork = true
 
#declare this is a config db of a cluster;
configsvr = true

#副本集名称
replSet=configs
 
#设置最大连接数
maxConns=20000
EOF

systemd 启动脚本

cat >> /usr/lib/systemd/system/mongo-config.service << EOF
[Unit]  
  
Description=mongodb-config   
After=network.target remote-fs.target nss-lookup.target  
  
[Service]  
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/config.conf
ExecReload=/bin/kill -s HUP $MAINPID  
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/config.conf 
PrivateTmp=true  
    
[Install]  
WantedBy=multi-user.target 
EOF

启动三台服务器的config server

systemctl daemon-reload 
systemctl start mongo-config
systemctl enable mongo-config

初始化副本集
登录任意一台配置服务器，初始化配置副本集

mongo --port 21000   //登陆

#config变量
config = {
...    _id : "configs",
...     members : [
...         {_id : 0, host : "10.10.16.52:21000" },
...         {_id : 1, host : "10.10.16.53:21000" },
...         {_id : 2, host : "10.10.16.54:21000" }
...     ]
... }

#初始化副本集
rs.initiate(config)
# 查看集群状态
rs.status()

其中，_id :,configs应与配置文件中配置的 replicaction.replSetName 一致，members 中的 host 为三个节点的 ip 和 port

配置分片副本集(三台机器)

设置第一个分片副本集

配置文件

cat >> /data/mongodb/conf/shard1.conf << EOF
pidfilepath = /data/mongodb/shard1/log/shard1.pid
dbpath = /data/mongodb/shard1/data
logpath = /data/mongodb/shard1/log/shard1.log
logappend = true
journal = true
quiet = true
bind_ip = 0.0.0.0
port = 27001
fork = true
#副本集名称
replSet=shard1
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#设置最大连接数
maxConns=20000
EOF

systemd 启动脚本

cat >> /usr/lib/systemd/system/mongo-shard1.service << EOF
[Unit]  
  
Description=mongodb-shard1  
After= mongo-config.target network.target
  
[Service]  
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard1.conf
ExecReload=/bin/kill -s HUP $MAINPID  
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard1.conf 
PrivateTmp=true  
    
[Install]  
WantedBy=multi-user.target 
EOF

启动三台服务器的shard1 server

systemctl daemon-reload 
systemctl start mongo-shard1
systemctl enable mongo-shard1

初始化副本集
登录任意一台配置服务器，初始化配置副本集

mongo --port 27001
#使用admin数据库
use admin
#定义副本集配置，第三个节点的 "arbiterOnly":true 代表其为仲裁节点。不可为当前初始化设置的节点

config = {
...    _id : "shard1",
...     members : [
...         {_id : 0, host : "10.10.16.52:27001" },
...         {_id : 1, host : "10.10.16.53:27001" },
...         {_id : 2, host : "10.10.16.54:27001" , arbiterOnly: true }
...     ]
... }

#初始化副本集配置
rs.initiate(config);

rs.status()

设置第二个分片副本集

配置文件

cat >> /data/mongodb/conf/shard2.conf << EOF
pidfilepath = /data/mongodb/shard2/log/shard2.pid
dbpath = /data/mongodb/shard2/data
logpath = /data/mongodb/shard2/log/shard2.log
logappend = true
journal = true
quiet = true
bind_ip = 0.0.0.0
port = 27002
fork = true
#副本集名称
replSet=shard2
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#设置最大连接数
maxConns=20000
EOF

systemd 启动脚本

cat >> /usr/lib/systemd/system/mongo-shard2.service << EOF
[Unit]  
  
Description=mongodb-shard2  
After= mongo-config.target network.target
  
[Service]  
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard2.conf
ExecReload=/bin/kill -s HUP $MAINPID  
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard2.conf 
PrivateTmp=true  
    
[Install]  
WantedBy=multi-user.target 
EOF

启动三台服务器的shard2 server

systemctl daemon-reload 
systemctl start mongo-shard2
systemctl enable mongo-shard2

初始化副本集
登录任意一台配置服务器,任意选一台服务器（注意：不要选择即将要设置为仲裁节点的服务器）

mongo --port 27002
#使用admin数据库
use admin
#定义副本集配置，第三个节点的 "arbiterOnly":true 代表其为仲裁节点。不可为当前初始化设置的节点

config = {
...    _id : "shard2",
...     members : [
...         {_id : 0, host : "10.10.16.52:27002", arbiterOnly: true  },
...         {_id : 1, host : "10.10.16.53:27002" },
...         {_id : 2, host : "10.10.16.54:27002" }
...     ]
... }

#初始化副本集配置
rs.initiate(config);
rs.status()

设置第三个分片副本集

配置文件

cat >> /data/mongodb/conf/shard3.conf << EOF
pidfilepath = /data/mongodb/shard3/log/shard3.pid
dbpath = /data/mongodb/shard3/data
logpath = /data/mongodb/shard3/log/shard3.log
logappend = true
journal = true
quiet = true
bind_ip = 0.0.0.0
port = 27003
fork = true
#副本集名称
replSet=shard3
 
#declare this is a shard db of a cluster;
shardsvr = true
 
#设置最大连接数
maxConns=20000
EOF

systemd 启动脚本

cat >> /usr/lib/systemd/system/mongo-shard3.service << EOF
[Unit]  
  
Description=mongodb-shard3  
After= mongo-config.target network.target
  
[Service]  
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard3.conf
ExecReload=/bin/kill -s HUP $MAINPID  
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard3.conf 
PrivateTmp=true  
    
[Install]  
WantedBy=multi-user.target 
EOF

启动三台服务器的shard3 server

systemctl daemon-reload 
systemctl start mongo-shard3
systemctl enable mongo-shard3

初始化副本集
登录任意一台配置服务器,任意选一台服务器（注意：不要选择即将要设置为仲裁节点的服务器）

mongo --port 27003

#使用admin数据库
use admin

#定义副本集配置，第三个节点的 "arbiterOnly":true 代表其为仲裁节点。不可为当前初始化设置的节点

config = {
...    _id : "shard3",
...     members : [
...         {_id : 0, host : "10.10.16.52:27003" },
...         {_id : 1, host : "10.10.16.53:27003",arbiterOnly: true },
...         {_id : 2, host : "10.10.16.54:27003" }
...     ]
... }

#初始化副本集配置
rs.initiate(config);
rs.status()

配置路由服务器 mongos

先启动配置服务器和分片服务器,后启动路由实例:（三台机器）
配置文件

cat >> /data/mongodb/conf/mongos.conf << EOF
pidfilepath = /data/mongodb/mongos/log/mongos.pid
logpath = /data/mongodb/mongos/log/mongos.log
logappend = true

bind_ip = 0.0.0.0
port = 20000
fork = true

#监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字
configdb = configs/10.10.16.52:21000,10.10.16.53:21000,10.10.16.54:21000
 
#设置最大连接数
maxConns=20000
EOF

systemd 启动脚本

cat >> /usr/lib/systemd/system/mongos.service << EOF
[Unit]
Description=Mongo Router Service
After=mongo-config.service

[Service]
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongos --config /data/mongodb/conf/mongos.conf
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

启动三台服务器的mongos server

systemctl daemon-reload 
systemctl start mongos
systemctl enable mongos

启用分片

目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，不过应用程序连接到mongos路由服务器并不能使用分片机制，还需要在程序里设置分片配置，让分片生效。
登陆任意一台mongos

mongo --port 20000
#使用admin数据库
use admin
#串联路由服务器与分配副本集
sh.addShard("shard1/10.10.16.52:27001,10.10.16.53:27001,10.10.16.54:27001")
sh.addShard("shard2/10.10.16.52:27002,10.10.16.53:27002,10.10.16.54:27002")
sh.addShard("shard3/10.10.16.52:27003,10.10.16.53:27003,10.10.16.54:27003")
#查看集群状态
sh.status()


sh.status()
--- Sharding Status --- 
  sharding version: {
        "_id" : 1,
        "minCompatibleVersion" : 5,
        "currentVersion" : 6,
        "clusterId" : ObjectId("5a9a97f70d2d5d358998988d")
  }
  shards:
        {  "_id" : "shard1",  "host" : "shard1/10.10.16.52:27001,10.10.16.53:27001",  "state" : 1 }
        {  "_id" : "shard2",  "host" : "shard2/10.10.16.53:27002,10.10.16.54:27002",  "state" : 1 }
        {  "_id" : "shard3",  "host" : "shard3/10.10.16.52:27003,10.10.16.54:27003",  "state" : 1 }
  active mongoses:
        "3.6.3" : 3
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                No recent migrations
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }

测试

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。

#指定testdb分片生效
db.runCommand( { enablesharding :"testdb"});
#指定数据库里需要分片的集合和片键
db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } )

我们设置testdb的 table1 表需要分片，根据 id 自动分片到 shard1 ，shard2，shard3 上面去。要这样设置是因为不是所有mongodb 的数据库和表 都需要分片！
测试分片配置结果

mongo 127.0.0.1 --port 20000
#使用testdb
use  testdb;
#插入测试数据
for(i=1;i<=1000;i++){db.table1.insert({"id":i,"name":"lovego"})};
# 总条数
db.table1.aggregate([{$group : {_id : "$name", totle : {$sum : 1}}}])
{ "_id" : "lovego", "totle" : 100000 }

#查看分片情况如下，
db.table1.stats();

维护

启动顺序

systemctl start mongo-config
systemctl start mongo-shard1
systemctl start mongo-shard2
systemctl start mongo-shard3
systemctl start mongos

关闭顺序

systemctl stop mongos
systemctl stop mongo-shard1
systemctl stop mongo-shard2
systemctl stop mongo-shard3
systemctl stop mongo-config

参考

https://cloud.tencent.com/developer/article/1034843
http://www.ityouknow.com/mongodb/2017/08/05/mongodb-cluster-setup.html
http://www.cnblogs.com/clsn/p/8214345.html