码迷,mamicode.com
首页 > 其他好文 > 详细

inotify+rsync实现实时同步

时间:2017-04-20 18:21:26      阅读:244      评论:0      收藏:0      [点我收藏+]

标签:watches   判断   安全   tool   padding   exclude   实例   实时   发布   

引言:rsync实现数据备份,inotify监控文件系统提供通知功能,二者结合能够实现服务器之间文件的实时同步。

 

rsync

特性:

可以镜像保存整个目录树和文件系统;

增量同步数据,文件传输效率高;

可以保持原有文件的权限、时间等属性;

加密传输数据,保证了数据的安全性;

支持断点续传;

可以使用rcp、ssh等方式传输文件,也可以通过socket连接传输文件;

支持匿名传输;

 

rsync4种模式

       本地shell

       远程shell

       查询(列表)模式

       服务器模式

 

本地shell模式:

       rsync -av orgi/file1 dest/

 

-a archive,归档模式,递归并保持文件属性

-v verbose

注意斜杠  目录名带斜杠orgi/ 表示复制目录下的所有文件,不带斜杠,复制目录本身

 

远程shell模式

       rsync orgi weblogic@192.168.2.17:/home/weblogic

       默认情况下使用ssh作为传输机制

 

列表模式:

       rsync -a weblogic@192.168.2.17:/home/weblogic

 

服务器模式:

       基于C/S

A:服务器端,需要备份的文件

B:客户端,备份服务器

 

A配置:/etc/rsyncd.conf

uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log

[ixdba]
path = /home/weblogic/orgi
comment = ixdba file
igonre errors
read only = no
write only = no
hosts allow = *
hosts deny = 
list = false
uid = root
gid = root
auth users = backup
secrets file = /etc/server.pass
/etc/server.pass
backup:ixdba123

B配置:

       备份机不做任何配置,只需执行rsync同步操作即可;

rsync –vzrogpt --delete --progress --exclude “*access*”--exclude “debug*”backup@192.168.2.17::ixdba  ixdba.net --password-file=/etc/server.pass

/etc/server.pass文件内容:

ixdba123

chmod 600 /etc/server.pass

 

--delete 指以服务器端A为基准,保持客户端和服务器端目录完全一直

 

放入定时任务即可实现文件定时同步

 

inotify+rsync实现数据实时备份:

 

查看内核是否支持inotify

ll /proc/sys/fs/inotify/

max_queued_events 表示调用inotify_init时分配inotify 实例中可排队的event数的最大值

max_user_instances 每一个real user可创建inotify实例上限

max_user_watches 每个inotify实例可监控最大目录数量

 

编译安装inotify-tools,https://ncu.dl.sourceforge.net/project/inotify-tools/inotify-tools/3.13/inotify-tools-3.13.tar.gz

安装后的两个命令行工具:

inotifywait

inotifywatch

 

inotify实时同步脚本:

说明:脚本按文件变更所在目录进行同步,对于百万级的文件数目也能实现很好的实时同步,如果全量同步,rsync进行文件校验时就会花费大量的时长和服务器资源,综合考虑,按目录进行同步数据较为理想。

#!/bin/bash
# 需要同步的源路径
src=/home/weblogic/orgi/
# 目标服务器上 rsync --daemon 发布的名称
des=ixdba
# rsync验证的密码文件
rsync_passwd_file=/etc/server.pass
# 目标服务器1
ip1=192.168.12.23
# 目标服务器2
#ip2=192.168.0.19
# rsync --daemon定义的验证用户名
user=backup

# 把监控到有发生更改的"文件路径列表"循环
/usr/local/bin/inotifywait -mrq --format  ‘%Xe %w%f‘ -e modify,create,delete,attrib,close_write,move ${src} | while read file
  do
        # 把inotify输出切割 把事件类型部分赋值给INO_EVENT
        INO_EVENT=$(echo $file | awk ‘{print $1}‘)
	# 把inotify输出切割 把文件路径部分赋值给INO_FILE
        INO_FILE=$(echo $file | awk ‘{print $2}‘)
        echo "-------------------------------$(date)------------------------------------"
        echo $file
        #增加、修改、写入完成、移动进事件
        #增、改放在同一个判断,因为他们都肯定是针对文件的操作,即使是新建目录,要同步的也只是一个空目录,不会影响速度。
        #判断事件类型
        if [[ $INO_EVENT =~ ‘CREATE‘ ]] || [[ $INO_EVENT =~ ‘MODIFY‘ ]] || [[ $INO_EVENT =~ ‘CLOSE_WRITE‘ ]] || [[ $INO_EVENT =~ ‘MOVED_TO‘ ]]
        then
                echo ‘CREATE or MODIFY or CLOSE_WRITE or MOVED_TO‘
		# INO_FILE变量代表路径哦  -c校验文件内容
                rsync -avzc --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des}         
                #rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                #仔细看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})变量 即每次只针对性的同步发生改变的文件的目录(只同步目标文件的方法在生产环境的某些极端环境下会漏文件 现在可以在不漏文件下也有不错的速度 做到平衡) 然后用-R参数把源的目录结构递归到目标后面 保证目录结构一致性
        fi
        #删除、移动出事件
        if [[ $INO_EVENT =~ ‘DELETE‘ ]] || [[ $INO_EVENT =~ ‘MOVED_FROM‘ ]]
        then
                echo ‘DELETE or MOVED_FROM‘
                rsync -avz --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des}
                #rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                #看rsync命令 如果直接同步已删除的路径${INO_FILE}会报no such or directory错误 所以这里同步的源是被删文件或目录的上一级路径,并加上--delete来删除目标上有而源中没有的文件,这里不能做到指定文件删除,如果删除的路径越靠近根,则同步的目录月多,同步删除的操作就越花时间
        fi
        #修改属性事件 指 touch chgrp chmod chown等操作
        if [[ $INO_EVENT =~ ‘ATTRIB‘ ]]
        then
                echo ‘ATTRIB‘
                # 如果修改属性的是目录 则不同步,因为同步目录会发生递归扫描,等此目录下的文件发生同步时,rsync会顺带更新此目录。
                if [ ! -d "$INO_FILE" ]
                then
                        rsync -avzc --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des}            
                        #rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                fi
        fi
done

 

inotifywait 参数说明

参数名称

参数说明

-m,–monitor

始终保持事件监听状态

-r,–recursive

递归查询目录

-q,–quiet

只打印监控事件的信息

–excludei

排除文件或目录时,不区分大小写

-t,–timeout

超时时间

–timefmt

指定时间输出格式

–format

指定时间输出格式

-e,–event

后面指定删、增、改等事件

 

inotifywait events事件说明

事件名称

事件说明

access

读取文件或目录内容

modify

修改文件或目录内容

attrib

文件或目录的属性改变

close_write

修改真实文件内容

close_nowrite

 

close

 

open

文件或目录被打开

moved_to

文件或目录移动到

moved_from

文件或目录从移动

move

移动文件或目录移动到监视目录

create

在监视目录下创建文件或目录

delete

删除监视目录下的文件或目录

delete_self

 

unmount

卸载文件系统

inotify+rsync实现实时同步

标签:watches   判断   安全   tool   padding   exclude   实例   实时   发布   

原文地址:http://www.cnblogs.com/jjzd/p/6740056.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!