标签：rsync + inotify rsync inotify
rsync （remote sync）是一款非常好的数据同步工具，能够通过对比同步双方的数据变动，实现增量同步，还可以通过LAN/WAN实现远程多台主机间文件的同步，还能结合crond任务计划来执行自动备份，又可以结合ssh实现远程数据备份的安全，种种特性使他看起来相当优秀。但如果需备份数据十分庞大时，它的不足之处就显现出来了，比如每次执行同步操作时，rsync都会扫描全部数据进而计算出增量部分，而后再同步增量数据，这将会十分耗时，使其变得低效；并且受限于crond计划任务最小时间间隔为一分钟，会导致同步源端和目的段数据不一致，这在高可用环境中是不被允许的。这个时候我们就可以构建rsync+Inotify架构来解决此应用瓶颈。
备注：关于rsync的使用请查阅http://windchasereric.blog.51cto.com/5419433/1711313
Inotify 是一个Linux特性，是一种强大的、细粒度的、异步的文件系统监控机制，linux内核从2.6.13起便加入了Inotify支持，通过Inotify可以监控文件系统中添加、修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而Inotify-tools就是这样的一个第三方软件。Inotify反应灵敏，用法简单，并且比使用Crontab轮询高效很多。
IN_ACCESS ：文件被访问
IN_MODIFY ： 文件被修改
IN_ATTRIB ： 文件属性被修改
IN_CLOSE_WRITE ： 以可写方式打开的文件被关闭
IN_CLOSE_NOWRITE ： 以不可写方式打开的文件被关闭
IN_OPEN ： 文件被打开
IN_MOVED_FROM ： 文件被移出监控的目录
IN_MOVED_TO ： 文件被移入监控着的目录
IN_CREATE ： 在监控的目录中新建文件或子目录
IN_DELETE ： 文件或目录被删除
IN_DELETE_SELF ： 自删除，即一个可执行文件在执行时删除自己
IN_MOVE_SELF ： 自移动，即一个可执行文件在执行时移动自己
[root@RServer ~]# ll /proc/sys/fs/inotify/
-rw-r--r-- 1 root root 0 Jun 13 17:49 max_queued_events
-rw-r--r-- 1 root root 0 Jun 13 17:49 max_user_instances
-rw-r--r-- 1 root root 0 Jun 13 17:49 max_user_watches
/proc/sys/fs/inotify/max_queued_events
该参数值是调用inotify_init时分配给实例的event队列最大值，超出该值的event被丢弃，并触发IN_Q_OVERFLOW事件。默认值：16384
注意，该参数定义的是events队列长度，若文件庞大且变化频繁需调整该值以适应监控。proc/sys/fs/inotify/max_user_instances
该参数值定义了用户创建inotify实例的上限。默认值：128/proc/sys/fs/inotify/max_user_watches
该参数定义了每个inotify示例可监控的最大目录数，如果监控文件庞大需调大该值。默认值：8192
参数调整示例：
可使用重定向方式修改
echo 10000000 > /proc/sys/fs/inotify/max_user_watches
Inotify-tools工具安装后提供了两个命令
/usr/bin/inotifywait：监控文件系统变化
/usr/bin/inotifywatch：用来统计文件系统访问的次数
2.3.1、Inotifywait用法
inotifywait [-hcmrq] [-e <event> ] [-t <seconds> ] [--format <fmt> ] [--timefmt<fmt> ] <file> [ ... ]
-h,–help //输出帮助信息
@ //排除不需要监视的文件，可以是相对路径，也可以是绝对路径
–fromfile //从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头
-m,–monitor //接收到一个事情而不退出，无限期地执行。默认行为是接收到一个事情后立即退出
-d,–daemon //跟–monitor一样，除了是在后台运行，需要指定 –outfile把事情输出到一个文件。也意味着使用了–syslog
-o,–outfile //输出事情到一个文件而不是标准输出。
-s,–syslog //输出错误信息到系统日志
-r,–recursive //监视一个目录下的所有子目录。
-q,–quiet //指定一次，不会输出详细信息，指定二次，除了致命错误，不会输出任何信息。
–exclude //正则匹配需要排除的文件，大小写敏感。
–excludei //正则匹配需要排除的文件，忽略大小写。
-t，–timeout# //设置超时时间，如果为0，则无限期地执行下去。
-e,–event //指定监视的事件。
-c,–csv //输出csv格式。
–timefmt //指定时间格式，用于–format选项中的%T格式。
–format //指定输出格式。
%w 表示发生事件的目录
%f 表示发生事件的文件
%e 表示发生的事件
%Xe 事件以“X”分隔
%T 使用由–timefmt定义的时间格式
inotifywatch [-hvzrqf] [-e <event> ] [-t <seconds> ] [-a <event> ] [-d <event> ] <file> [ … ]
-h，–help # 输出帮助信息
-v，–verbose # 输出详细信息
@ # 排除不需要监视的文件，可以是相对路径，也可以是绝对路径。
–fromfile # 从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头。
-z，–zero # 输出表格的行和列，即使元素为空
–exclude # 正则匹配需要排除的文件，大小写敏感。
–excludei # 正则匹配需要排除的文件，忽略大小写。
-r，–recursive # 监视一个目录下的所有子目录。
-t，–timeout # 设置超时时间
-e，–event # 只监听指定的事件。
-a，–ascending # 以指定事件升序排列。
-d，–descending# 以指定事件降序排列
1、安装超级守护进程
[root@RServer data]# yum -y install xinetd
注意：要想启动rsync服务，必须先安装此进程。rsync服务是依赖xinetd来启动
2、设置开机自动启动
[root@RServer data]# chkconfig xinetd on
3、安装rsync
[root@RServer data]# yum -y install rsync
4、查看超级守护进程下自动生成的rsync服务，并设置激活
[root@RServer data]# vim /etc/xinetd.d/rsync
service rsync
{
disable = no # 改为no ，表示启用rsync，默认是关闭的
flags = IPv6
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = --daemon
log_on_failure += USERID
5、创建共享的目录文件
[root@RServer /]# mkdir /data/
6、编辑配置文件/etc/rsyncd.conf
[root@RServer data]# vim /etc/rsyncd.conf
# Global Setting
uid = nobody #运行rsync服务器的角色名称
gid = nobody #运行rsync服务器的组名称
use chroot = no # 是否允许使用chroot
max connections = 10 #最大的连接数
strict modes = yes # 是否启用严格检查权限，用户是否允许上传下载
pid file = /var/run/rsync.pid # pid文件路径
log file = /var/log/rsyncd.log #日志文件记录路径
# Directory to be synced
[tools] #共享存储的模块名称
path = /data #共享文件存储路径
ignore error = yes #传输过程出现错误处理方式，yes表示忽略
read only = no #是否只读
write only = no #是否只写，表示不允许别人看
hosts allow = 192.168.80.0/24 #允许哪些主机来实现数据同步（类似白名单）
hosts deny = * # 如果匹配到上面的就表示通过，否则就拒绝
list = false #是否允许你列出所有 {true | false}
uid = root #以什么身份运行，如果这里不填，将会继承上面
gid = root
auth users = wqp #认证用户
secrets file = /etc/rsyncd.passwd #认证用户密码的文件
# rsyncd.passwd格式为 USERNAME:PASSWORD
注意：（此文件需要手动创建，系统不会自动生成，请注意，文件名必须是rsyncd.conf，否则rsync会无法正常读取配置文件）
7、编辑密码文件
[root@RServer /]# vim /etc/rsyncd.passwd
wqp:redhat
8、启动服务
[root@RServer /]# service xinetd start
9、查看所监听的端口
[root@RServer /]# netstat -tanlp | grep xinetd
tcp 0 0 :::873 :::* LISTEN 1362/xinetd
10、使用客户端测试连接rsync服务器
[root@RClient ~]# rsync /etc/fstab wqp@192.168.80.106::tools
1、安装inotify-tools
[root@RClient ~]# yum -y install inotify-tools
备注：如果使用yum安装，需要配置好epel源
2、编辑密码文件，目的是为后面脚本自动化执行
[root@RClient ~]# vim /etc/rsyncd.passwd
redhat
3、设置密码文件权限
[root@RClient ~]# chmod 600 /etc/rsyncd.passwd
# 设置密码文件夹权限为600，目的是为了更安全，而且如果不设置，有可能导致脚本读取密码文件出错
4、创建监控脚本
[root@RClient ~]# vim rsyncInotify.sh
#!/bin/bash
#
host=‘192.168.80.106‘
user=‘wqp‘
src=‘/tmp/dir‘
dest=‘tools‘
passwdFile=‘/etc/rsyncd.passwd‘
inotifywait -mrq -e modify,attrib,moved_to,moved_from,move,move_self,create,delete,delete_self --timefmt=‘%d/%m/%y %H:%M‘ --format=‘%T %w%f %e‘ $src | while read chgeFile
dorsync -avqz --delete --progress --password-file=$passwdFile $src $user@$host::$dest &>>/var/log/rsync.log
done
5、设置开机自动启动
[root@RClient ~]# echo ‘bash /root/rsyncInotify.sh &‘ >> /etc/rc.local
1、手动启动脚本
[root@RClient ~]# bash /root/rsyncInotify.sh &
2、在客户端上被监控的目录下创建文件
[root@RClient dir]# touch file{1..10}
3、查看服务器端rsyncd.log日志文件
[root@RServer data]# tail /var/log/rsyncd.log
4、查看已同步的文件
本文出自 “螃蟹学Linux” 博客，请务必保留此出处http://windchasereric.blog.51cto.com/5419433/1789617
inotify介绍及rsync + inotify 实时同步备份
标签：rsync + inotify rsync inotify
原文地址：http://windchasereric.blog.51cto.com/5419433/1789617
