码迷,mamicode.com
首页 > 数据库 > 详细

mongodb 备份恢复, 异构平台数据迁移mysql -> mongodb

时间:2020-07-21 01:14:16      阅读:96      评论:0      收藏:0      [点我收藏+]

标签:uid   mon   ldb   条件   auth   rop   base   import   工作   

1.1 备份恢复工具介绍:

1)**   mongoexport/mongoimport
(2)***** mongodump/mongorestore

1.2 备份工具区别在哪里?

应用场景总结:
mongoexport/mongoimport:json csv 
1、异构平台迁移  mysql  <---> mongodb
2、同平台,跨大版本:mongodb 2  ----> mongodb 3
3. 导入导出的是json格式或者csv格式
mongodump/mongorestore 日常备份恢复时使用.
导入导出的是bson格式, 不同版本的bson格式可能不同, 所以存在失败的可能, bson不同的可使用mongoexport

补充: json可读性强但体积大, bson则是二进制文件, 体积小但没有可读性.

1.3 导出工具mongoexport

mongoexport具体用法如下所示:
$ mongoexport --help  
参数说明:
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-f:指明要导出那些列
-o:指明到要导出的文件名
-q:指明导出数据的过滤条件
--authenticationDatabase admin

1.单表备份至json格式
mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log -o /mongodb/log.json

注:备份文件的名字可以自定义,默认导出了JSON格式的数据。

2. 单表备份至csv格式
如果我们需要导出CSV格式的数据,则需要使用----type=csv参数:

 mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d test -c log --type=csv -f uid,name,age,date  -o /mongodb/log.csv

 

1.4 导入工具mongoimport

$ mongoimport --help
参数说明:
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-f:指明要导入那些列
-j, --numInsertionWorkers=<number>  number of insert operations to run concurrently (defaults to 1)
//并行(建议1/4的cpu数, 因为得考虑io问题)


数据恢复: 1.恢复json格式表数据到log1 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log1 /mongodb/log.json 2.恢复csv格式的文件到log2 上面演示的是导入JSON格式的文件中的内容,如果要导入CSV格式文件中的内容,则需要通过--type参数指定导入格式,具体如下所示: 错误的恢复 注意: (1)csv格式的文件头行,有列名字 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log2 --type=csv --headerline --file /mongodb/log.csv (2)csv格式的文件头行,没有列名字 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log3 --type=csv -f id,name,age,date --file /mongodb/log.csv --headerline: 指明第一行是列名,不需要导入。
--drop:    该参数用于当导入得表命存在时先删除原表.
-f: 没有字段头行时使用该参数指定字段名.

8.5 异构平台迁移案例

mysql   -----> mongodb  
world数据库下city表进行导出,导入到mongodb

(1)mysql开启安全路径
vim /etc/my.cnf   --->添加以下配置
secure-file-priv=/tmp

--重启数据库生效
/etc/init.d/mysqld restart

(2)导出mysql的city表数据
source /root/world.sql

select * from world.city into outfile /tmp/city1.csv fields terminated by ,;

(3)处理备份文件
desc world.city
  ID          | int(11)  | NO   | PRI | NULL    | auto_increment |
| Name        | char(35) | NO   |     |         |                |
| CountryCode | char(3)  | NO   | MUL |         |                |
| District    | char(20) | NO   |     |         |                |
| Population

vim /tmp/city.csv   ----> 添加第一行列名信息

ID,Name,CountryCode,District,Population

(4)在mongodb中导入备份
mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d world  -c city --type=csv -f ID,Name,CountryCode,District,Population --file  /tmp/city1.csv

use world
db.city.find({CountryCode:"CHN"});

-------------
world共100张表,全部迁移到mongodb

select table_name ,group_concat(column_name) from columns where table_schema=world group by table_name;

select * from world.city into outfile /tmp/world_city.csv fields terminated by ,;

select concat("select * from ",table_schema,".",table_name ," into outfile ‘/tmp/",table_schema,"_",table_name,".csv‘ fields terminated by ‘,‘;")
from information_schema.tables where table_schema =world;

导入:
提示,使用infomation_schema.columns + information_schema.tables

mysql导出csv:
select * from test_info   
into outfile /tmp/test.csv   
fields terminated by ,    ------字段间以,号分隔
optionally enclosed by "   ------字段用"号括起
escaped by "           ------字段中使用的转义符为"
lines terminated by \r\n;  ------行以\r\n结束

mysql导入csv:
load data infile /tmp/test.csv   
into table test_info    
fields terminated by ,  
optionally enclosed by " 
escaped by "   
lines terminated by \r\n; 

 

8.6 mongodump和mongorestore

8.6.1介绍

mongodump能够在Mongodb运行时进行备份,它的工作原理是对运行的Mongodb做查询,然后将所有查到的文档写入磁盘。
但是存在的问题时使用mongodump产生的备份不一定是数据库的实时快照,如果我们在备份时对数据库进行了写入操作,
则备份出来的文件可能不完全和Mongodb实时数据相等。另外在备份时可能会对其它客户端性能产生不利的影响。

8.6.2 mongodump用法如下:

$ mongodump --help
参数说明:
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-o:指明到要导出的文件名
-q:指明导出数据的过滤条件
-j, --numParallelCollections=  number of collections to dump in parallel (4 by default)
--oplog  备份的同时备份oplog

 

 

 

 

 

 

 

 

 

 

 

 

 

66

mongodb 备份恢复, 异构平台数据迁移mysql -> mongodb

标签:uid   mon   ldb   条件   auth   rop   base   import   工作   

原文地址:https://www.cnblogs.com/quzq/p/13347754.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!