Mongo 3.6.1版本Sharding集群配置

标签：网上   研究   dash   error   connect   app   修复   sharding   怎么办   

Mongo低版本和高版本的sharding集群配置，细节不太一样。目前网上的配置文档大都是针对低版本的。本人在配置3.6.1版本的mongosharding集群的过程中，碰到不少问题，官方文档没有直观的示例，参考起来有点一头雾水。特整理记录下自己的测试环境sharding集群配置过程，供大家参考。

Mongo sharding集群由config server，mongos（路由）及shards服务器组成。他们的关系及扮演的角色，网上到处都是，不再详细介绍。

最开始，打算将config、mongos、shards等所有组件都部署到一台机器。部署的过程中碰到问题，启动不了，以为是不能部署到一台机器导致的，于是最后的方案是部署到4台机器。解决碰到的坑后，我觉得，部署到同一台机器也是可以的。那些碰到的问题，并不是部署到同一台机器引起的。

服务器规划如下：

机器
服务
Dbpath
logpath
port
120
Config Server
data/config/data
data/config/log/config.log
30000
121
131
100
mongos
null
data/mongos/log/ mongos.log
27017
120
Shard1
data/shard1/data/set1
data/shard1/data/set2
data/shard1/data/set3
data/shard1/logs/set1.log
data/shard1/logs/set2.log
data/shard1/logs/set3.log
27017
27018
27019
121
Shard2
data/shard2/data/set1
data/shard2/data/set2
data/shard2/data/set3
data/shard2/logs/set1.log
data/shard2/logs/set2.log
data/shard2/logs/set3.log
27017
27018
27019
一、  Mongo下载及安装
从mongo官网下载mongodb-linux-x86_64-rhel62-3.6.1.tgz，上传到每台服务器的/app/mongo目录。

执行：tar -xvzf mongodb-linux-x86_64-rhel62-3.6.1.tgz解压即可。

二、  Config Server配置
高版本的mongo要求config server必须是集群模式，不能单点，包括配置和访问都会涉及这点，与旧版不同。

每台服务器上执行：

mkdir -p /app/mongo/data/config/data

mkdir -p /app/mongo/data/config/log

./mongod --dbpath=/app/mongo/data/config/data --logpath=/app/mongo/data/config/log/config.log --port=30000 --fork --bind_ip_all --configsvr --replSet=conf

进入其中任意一台服务器,执行如下步骤：

cd /app/mongo/mongodb-linux-x86_64-rhel62-3.6.1/bin

./mongo --port 30000

config = {_id:"conf", members:[

  {_id:0, host:"10.100.31.120:30000"},

  {_id:1, host:"10.100.31.121:30000"},

  {_id:2, host:"10.100.31.131:30000"}

  ]

};

rs.initiate(config);

Config server就配置完成了。

三、  路由Mongos的配置
登录10.100.31.100机器：
mkdir -p /app/mongo/data/mongos/log

./mongos --logpath=/app/mongo/data/mongos/log/mongos.log --port=27017 --fork --bind_ip_all --configdb=conf/10.100.31.120:30000,10.100.31.121:30000,10.100.31.131:30000

看起来是不是很简单？但网上没有这样的示例。也是探索出来的。后面“碰到的问题”，会提一下。

四、  Shard服务器配置
Shard服务器的配置没碰到大问题，注意别笔误就行。Shard1还是shard2，写准了，多余的空格要留心，会有影响。我是几个笔误磕巴了一下。

10.100.31.120服务器：

mkdir -p /app/mongo/data/shard1/app/mongo/data/set1

mkdir -p /app/mongo/data/shard1/app/mongo/data/set2

mkdir -p /app/mongo/data/shard1/app/mongo/data/set3

mkdir -p /app/mongo/data/shard1/logs

./mongod --dbpath=/app/mongo/data/shard1/app/mongo/data/set1 --logpath=/app/mongo/data/shard1/logs/set1.log --port=27017 --fork --bind_ip_all   --shardsvr --replSet=shard1

./mongod --dbpath=/app/mongo/data/shard1/app/mongo/data/set2 --logpath=/app/mongo/data/shard1/logs/set2.log --port=27018 --fork --bind_ip_all   --shardsvr  --replSet=shard1

./mongod --dbpath=/app/mongo/data/shard1/app/mongo/data/set3 --logpath=/app/mongo/data/shard1/logs/set3.log --port=27019 --fork --bind_ip_all   --shardsvr --replSet=shard1

通过mongoshell进入任意一个示例，此处我们选择27017示例，配置副本集并初始化：

./mongo 10.100.31.120:27017/admin

> cnf = {_id:"shard1", members:[

        {_id:1, host:"10.100.31.120:27017"},

        {_id:2, host:"10.100.31.120:27018"},

        {_id:3, host:"10.100.31.120:27019"},

        ]

    }

> rs.initiate(cnf);

{ "ok" : 1 }

可以检查一下副本集状态

> rs.status()

10.100.31.121服务器一样：

mkdir -p /app/mongo/data/shard2/app/mongo/data/set1

mkdir -p /app/mongo/data/shard2/app/mongo/data/set2

mkdir -p /app/mongo/data/shard2/app/mongo/data/set3

mkdir -p /app/mongo/data/shard2/logs

./mongod --dbpath=/app/mongo/data/shard2/app/mongo/data/set1 --logpath=/app/mongo/data/shard2/logs/set1.log --port=27017 --fork --bind_ip_all   --shardsvr --replSet=shard2

./mongod --dbpath=/app/mongo/data/shard2/app/mongo/data/set2 --logpath=/app/mongo/data/shard2/logs/set2.log --port=27018 --fork --bind_ip_all   --shardsvr  --replSet=shard2

./mongod --dbpath=/app/mongo/data/shard2/app/mongo/data/set3 --logpath=/app/mongo/data/shard2/logs/set3.log --port=27019 --fork --bind_ip_all   --shardsvr --replSet=shard2

./mongo 10.100.31.121:27017/admin

> cnf = {_id:"shard2", members:[

        {_id:1, host:"10.100.31.121:27017"},

        {_id:2, host:"10.100.31.121:27018"},

        {_id:3, host:"10.100.31.121:27019"},

        ]

    }

> rs.initiate(cnf);

{ "ok" : 1 }

五、  Mongos上添加shard节点
进入mongos所在服务器的mongoshell，通过addshard来加入shard节点，多个副本集用逗号分隔：

./mongo 10.100.31.100:27017/admin

mongos> db.runCommand( {addshard : "shard1/10.100.31.120:27017,10.100.31.120:27018,10.100.31.120:27019"});

mongos> db.runCommand( { addshard : "shard2/10.100.31.121:27017,10.100.31.121:27018,10.100.31.121:27019"});

mongos> db.runCommand( { listshards : 1 } );

至此，mongo3.6.1版本sharding集群搭建完毕。

六、  Mongo3.6.1版本sharding集群搭建碰到的问题
上面的步骤看起来是不是很清爽？很简单？很容易？但在没有前人完整示例的情况下，自己探索，处处踩坑处处碰壁，还是很痛苦的。下面把搭建过程中需要注意的方面和碰到的问题跟大家分享一下。

首先，配置configserver时，碰到no route to host，connect refused等。看起来似乎和网络、防火墙及端口有关。实际上，蹚完坑的结果是，非也，非也，和mongo自己的一个配置有关。Mongo里有个bind ip的概念。网上很多地方，及官方都提到了，但说得云里雾里，不太明白。我搭建的过程中，这个问题困扰我了很长时间。网友这篇文章及其中提到的另一篇文章讲到了这个问题，但讲得并不是很透，不过可以看看，有助于更好地了解这个问题：https://www.cnblogs.com/chy1000/p/3260215.html。网上屡屡出现绑定127.0.0.1或/及localhost的说法，不明白。绑定127.0.0.1或/及localhost，集群跨机访问能行？显然不科学啊。Linux下，端口绑定ip，如果不想限制ip的话，通常指定为0.0.0.0。感觉应该走这样的套路才可以。研究了一下mongo的help，发现里面有个参数：--bind_ip_all。眼睛一亮。这个应该好使！

说说我的经历：

首先，配置configserver的时候，我在三台机器分别部署了mongo，具体步骤见前面。

最后一步执行rs.initiate(config); 的时候，出错，大概错误是访问不到指定mongo。

telnet 10.100.31.131 30000

报：No route to host

执行：sudo iptables –F

No route的问题解决了。

但是再次执行rs.initiate(config); 还是失败。

这次是报connect refused。

根据网上的提示，这是端口未开放访问的原因，需要开放服务器相关端口。

但后来了解到我的遭遇根本不是这个问题。因为我们测试环境的机器，iptables是关闭、未开启的。也就是任何端口，随意访问，随便用。

但为了方便服务器启用了iptables策略的同学，这里还是把遇到connect refused时，iptables开放端口的配置办法给大家分享下：

Linux开放端口的步骤：

vi  /etc/sysconfig/iptables

添加你需要的端口，比如：

#mongo ports

-A INPUT -m state --state NEW -m tcp -p tcp --dport 30000 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 27017 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 27018 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 27019 -j ACCEPT

注意:这里有个坑，添加的位置必须在
    -A INPUT -j REJECT --reject-with icmp-host-prohibited  
    -A FORWARD -j REJECT --reject-with icmp-host-prohibited  
上方

保存修改后，执行：

service  iptables restart

就可以了。

刚才说到，我的测试服务器端口是ok的。可我的mongo为何死活不通呢？这和mongo bind ip配置项有关。加上启动参数--bind_ip_all就好了。

具体命令见前面步骤。

不过，实际配置过程中，我加上--bind_ip_all后，又碰到问题。

报错：

ERROR: child process failed, exited with error number 100

调研了一下，这是因为之前启动mongo，未正常关闭导致的问题。比如用kill -9 23245杀掉了mongo进程。Mongo强烈不建议用kill命令来杀进程。如果实在要用，也不要用kill -9 <pid>，有网友说可考虑kill -2 <pid>。但是，以我的亲身实践，kill-2也不好。还是要老老实实用官方推荐的shutdown办法：

./mongo

Use admin

db.shutdownServer();

没杀干净怎么办？

主要是rm /app/mongo/data/config/data/mongod.lock，修复模式启动，然后正常启动。

请参考：

https://www.cnblogs.com/joshua317/articles/5190385.html

https://www.cnblogs.com/qiuer/p/5488588.html

网友的启动方式是用配置文件。命令行修复模式启动，其实就是加个--repair参数。

我照网友的说法，repair方式启动，接着正常启动，好像还是有问题，不过报错变了：

ERROR: child process failed, exited with error number 48

结果码由100变成了48。

看了下mongo启动日志：Address already in use

netstat –lp 检查。发现mongo已经起起来了，不知道是其中哪一次启动成功的。

试了下可以用。

看来是根据网友的说法，修复启动后，已经成功启动mongo了。

照猫画虎部署131服务器的config server，又碰到新问题，报错如下：

2018-01-04T10:56:39.936+0800 E STORAGE  [initandlisten] WiredTiger error (1) [1515034599:936145][6277:0x7f76fc3e6a80], file:WiredTiger.wt, connec

tion: /app/mongo/data/config/data/WiredTiger.wt: handle-open: open: Operation not permitted

查了一下，可能和之前用root用户启动过mongo有关，导致普通用户起不了。

怎么破？

Rm –R /app/mongo/data

用root用户赋权：chmod 777 mongo

切换到app用户：mkdir data

然后依次创建 config的data和log目录：

mkdir -p /app/mongo/data/config/data

mkdir -p /app/mongo/data/config/log

然后app用户启动mongo，没问题。

以上是配在config server的时候碰到的问题，配mongos（路由器）的时候，碰到两个问题，其中一个仍然是bind ip的问题，像config server配置一样，加上--bind_ip_all启动参数即可。另一个问题，则是“复制集”的概念。高版本的mongo，强调复制集的概念，很多地方多强制要求配置复制集，访问也用复制集方式的连接串。例如：配置mongos（路由器）的时候，网上的启动示例如下：

./mongos --logpath=/app/mongo/data/mongos/log/mongos.log --port=27017 --fork --configdb=10.100.31.120:30000

3.6.1版本这样是不行的。会报错：BadValue:configdb supports only replica set connection string。configdb参数强制必须用复制集连接串。格式类似：

conf/10.100.31.120:30000,10.100.31.121:30000,10.100.31.131:30000

即完整命令参考上面步骤三。

配置文件启动的方式，还不明就里。有模板的同学，可分享一下。
---------------------
作者：itbgj
来源：CSDN
原文：https://blog.csdn.net/ITBGJ/article/details/78972701
版权声明：本文为博主原创文章，转载请附上博文链接！

Mongo 3.6.1版本Sharding集群配置

标签：网上   研究   dash   error   connect   app   修复   sharding   怎么办   

原文地址：https://www.cnblogs.com/ExMan/p/10738247.html