rsync+inotify实现数据同步

标签：inotify   rsync   

Linux内核从2.6.13开始，引入了inotify机制。通过intofity机制，能够对文件系统的变化进行监控，如对文件进行创建、删除、修改等操作，可以及时通知应用程序进行相关事件的处理。这种响应处理机制，避免了频繁的文件轮询任务，提高了任务的处理效率

1. 检查系统内核版本,查看是否支持inotify

[root@peng scripts]# uname -r
2.6.32-642.6.2.el6.x86_64
[root@peng scripts]# ls -lsart /proc/sys/fs/inotify/
总用量 0
0 dr-xr-xr-x 0 root root 0 11月 17 16:36 ..
0 dr-xr-xr-x 0 root root 0 11月 17 19:44 .
0 -rw-r--r-- 1 root root 0 11月 17 19:44 max_user_watches
0 -rw-r--r-- 1 root root 0 11月 17 19:44 max_queued_events
0 -rw-r--r-- 1 root root 0 11月 18 05:15 max_user_instances
# 如果出现以上提示，说明系统支持inotify机制

2. 下载安装inotify

wget -P /tmp 
tar -zvxf /tmp/inotify-tools-3.14.tar.gz -C /tmp
cd /tmp/inotify-tools-3.14
./configure --prefix=/usr/local/inotify
make && make install

3. 查看inotify默认参数

[root@peng scripts]# sysctl -a|grep fs.inotify
fs.inotify.max_user_instances = 130                # 每个用户创建inotify实例最大值
fs.inotify.max_user_watches = 8192                 # 要知道同步的文件包含的目录数，必须保证该值大于需要同步目录里的数量，可以用find /home -type d |wc -l
fs.inotify.max_queued_events = 16384               # inotify队列最大长度，如果值太小，会出现错误，导致监控文件不准确
fs.epoll.max_user_watches = 386007
# 如若需要修改可用以下命令修改
sysctl -w fs.inotify.max_user_instances=130

4. 创建实时监控脚本

vim /usr/local/inotify/inotify_start.sh
#!/bin/bash
/usr/local/inotify/bin/inotifywait -mrq -e modify,create,move,delete \  
--fromfile ‘/usr/local/inotify/ffile‘ \  
--timefmt ‘%y-%m-%d %H:%M‘ --format ‘%T %w%f %e‘ \  
--outfile ‘/tmp/rsync.log‘ &

vim /usr/local/inotify/ffile
/home                                            # 值为监控的目录

参数说明：
inotifywait常用参数：  
--timefmt 时间格式  
%y年 %m月 %d日 %H小时 %M分钟  
--format 输出格式  
%T时间 %w路径 %f文件名 %e状态  
-m 始终保持监听状态，默认触发事件即退出。  
-r 递归查询目录  
-q 打印出监控事件  
-e 定义监控的事件，可用参数：  
open 打开文件  
access 访问文件  
modify 修改文件  
delete 删除文件  
create 新建文件  
attrb  属性变更

5. 启动脚本

chmod a+x /usr/local/inotify/inotify_start.sh
sh /usr/local/inotify/inotify_start.sh
# 将此命令可加入到/etc/rc.local下实现开机启动

rsync同步

#!/bin/bash
src=/data/                           # 需要同步的源路径
des=data                             # 目标服务器上 rsync --daemon 发布的名称，rsync --daemon这里就不做介绍了，网上搜一下，比较简单。
rsync_passwd_file=/etc/rsyncd.passwd            # rsync验证的密码文件
ip1=192.168.0.18                 # 目标服务器1
ip2=192.168.0.19                 # 目标服务器2
user=root                            # rsync --daemon定义的验证用户名
cd ${src}                              # 此方法中，由于rsync同步的特性，这里必须要先cd到源目录，inotify再监听 ./ 才能rsync同步后目录结构一致，有兴趣的同学可以进行各种尝试观看其效果
/usr/local/inotify/bin/inotifywait -mrq --format  ‘%Xe %w%f‘ -e modify,create,delete,attrib,close_write,move ./ | while read file         # 把监控到有发生更改的"文件路径列表"循环
do
        INO_EVENT=$(echo $file | awk ‘{print $1}‘)      # 把inotify输出切割 把事件类型部分赋值给INO_EVENT
        INO_FILE=$(echo $file | awk ‘{print $2}‘)       # 把inotify输出切割 把文件路径部分赋值给INO_FILE
        echo "-------------------------------$(date)------------------------------------"
        echo $file
        #增加、修改、写入完成、移动进事件
        #增、改放在同一个判断，因为他们都肯定是针对文件的操作，即使是新建目录，要同步的也只是一个空目录，不会影响速度。
        if [[ $INO_EVENT =~ ‘CREATE‘ ]] || [[ $INO_EVENT =~ ‘MODIFY‘ ]] || [[ $INO_EVENT =~ ‘CLOSE_WRITE‘ ]] || [[ $INO_EVENT =~ ‘MOVED_TO‘ ]]         # 判断事件类型
        then
                echo ‘CREATE or MODIFY or CLOSE_WRITE or MOVED_TO‘
                rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&         # INO_FILE变量代表路径哦  -c校验文件内容
                rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                 #仔细看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})变量 即每次只针对性的同步发生改变的文件的目录(只同步目标文件的方法在生产环境的某些极端环境下会漏文件 现在可以在不漏文件下也有不错的速度 做到平衡) 然后用-R参数把源的目录结构递归到目标后面 保证目录结构一致性
        fi
        #删除、移动出事件
        if [[ $INO_EVENT =~ ‘DELETE‘ ]] || [[ $INO_EVENT =~ ‘MOVED_FROM‘ ]]
        then
                echo ‘DELETE or MOVED_FROM‘
                rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&
                rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                #看rsync命令 如果直接同步已删除的路径${INO_FILE}会报no such or directory错误 所以这里同步的源是被删文件或目录的上一级路径，并加上--delete来删除目标上有而源中没有的文件，这里不能做到指定文件删除，如果删除的路径越靠近根，则同步的目录月多，同步删除的操作就越花时间。这里有更好方法的同学，欢迎交流。
        fi
        #修改属性事件 指 touch chgrp chmod chown等操作
        if [[ $INO_EVENT =~ ‘ATTRIB‘ ]]
        then
                echo ‘ATTRIB‘
                if [ ! -d "$INO_FILE" ]                 # 如果修改属性的是目录 则不同步，因为同步目录会发生递归扫描，等此目录下的文件发生同步时，rsync会顺带更新此目录。
                then
                        rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&            
                        rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}
                fi
        fi
done

本文出自 “搁浅丶” 博客，请务必保留此出处http://yasar.blog.51cto.com/9120455/1875777

rsync+inotify实现数据同步

标签：inotify   rsync   

原文地址：http://yasar.blog.51cto.com/9120455/1875777