码迷,mamicode.com
首页 > 数据库 > 详细

MONGODB大数据运维管理

时间:2017-12-12 17:31:53      阅读:127      评论:0      收藏:0      [点我收藏+]

标签:mongodb大数据运维管理

数据库管理

    备份MONGODB服务器

    执行mongodump    //默认使用本地连接127及端口连接本地数据库

    数据库恢复到备份之前的状态:

    mongorestore --drop

    ##--drop选项告诉mongorestore工具,在恢复集合之前先丢弃现有的数据,如果不使用该选项,被恢复的数据将被追加到每个集合的尾部,导致数据的重复   

    备份单个数据库

    mongodump -d  database_name  -c  post ##备份指定库下集合

    --help

    恢复单个数据库

    mongorestore -d blog --drop

    恢复单个集合

    mongorestore -d blog -c posts --drop


备份大数据库

    数据库备份系统有一个必杀技,就是时间点快照,它的速度非常快,快照完成的速度越快,数据库服务器需要被冻结的时间就越短

    在MONGODB中创建隐藏辅助服务器是非常简单的,并且可以使用MONGODB的复制机制来保证他与主服务器一直

    1使用日志文件系统创建快照

    2使用隐藏的辅助服务器备份数据

    

    

    MONGODB上执行fysnc和lock,可以保证磁盘上数据库的镜像处于一致状态,并保证在完成快照之前他们仍然保持一致状态

    use admin

    db.fsyncLock()    //进入fsync和lock状态

    查看当前锁的状态

    use admin 

    db.currentOp()

    释放锁

    db.fsyncUnlock()     //锁释放之前可能有短暂的延迟

    数据导入mongoDB使用mongoimport

    mongoimport 工具可加载3种文件格式的数据

    1、CSV:此种文件格式,每行代表一个文档,字段之间由逗号分隔

    2、TSV:该文件类似CSV,它使用TAB作为分隔符

    3、JSON:该文件格式每行都办好一块JSON,代表一个文档,与其他格式不同,JSON可以支持可变模式的文档

    mongoimport --help

MONGODB支持简单的基于角色的身份验证系统,通过系统可以控制用户对数据库的访问以及他们被授予的访问级别

    添加admin

    use admin

    db.createUser({

    user:"admin",

    pwd:"root123",

    roles:[{

    role:"readWrite",

    db:"admin"},

    {role:"userAdminAnyDatabase",db:"admin"}

    ]

    })

    db.auth("admin","root123")

    db.getllsers() //用户权限相关信息

    db.serverStatus()


验证和修复数据

    修复服务器

    使用repair命令是一个代价高昂的操作,会消耗很长世间,并且要求使用两倍于MONGODB数据文件大小,因为所有的数据都被克隆岛新的文件并重建,本质上是对所有数据文件的重建

    mongod --dbpath /data/db  --repair

    在大型数据修复过程中,可以指定一个大的空间的驱动器,用于保存修复过程中创建的临时文件

    mongod -f /etc/mongodb.conf --repair --repairpath /tmp/bigdata/

    

    通过validata选项可以验证数据库中集合的内容是否存在问题

    use dblog

    db.posts.ensureIndex({Author:1})

    db.posts.validate()

    

    修复集合的索引

    db.posts.reIndex()   //在线修复会柱塞对系统的访问

    修复集合的数据文件

    use blog

    db.repairDatabase()  //不适合在线运行,因为它会重建数据文件时会组赛对数据的所有请求,修复过程中所有读写请求都被阻塞


MONGODB的优化

    启用和禁用MONGODB分析器

    use blog

    db.setProfilingLevel(1)  //0关闭

    db.setProfilingLevel(1,500)   //启动毫秒级别

    db.setProfilingLevel(2)   //所有查询启动分析器

    查找慢查询

    db.system.profile.find()

    

    增加分析器集合的大小

    1、关闭分析器

    use blog

    db.setProfilingLevel(0)

    2、删除system.profile集合

    db.system.profile.drop()

    3、创建新的集合分析器

    db.createCollection("system.profile",{capped:true,size:50*1024*1024})

    4、重新启用分析器

    db.setProfilingLevel(2)

    使用explain()分析特定的查询

    use blog 

    db.posts.find().explain(true)


MONGODB大数据运维管理

标签:mongodb大数据运维管理

原文地址:http://blog.51cto.com/dbaspace/2049819

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!