rsync是Linux/UNIX下的文件同步和数据传输工具。rsync即remote sync,有如下特性:
1>可以镜像保存整个目录树和文件系统
2>可以增量同步数据,文件传输效率高
3>可以保持原有文件的权限,时间等属性
4>加密传输数据,保证数据安全性
5>支持匿名传输
rsync的4中应用模式:
1>shell应用模式,也成本地模式
2>远程shell模式,利用SSH执行底层连接和加密传输
3>查询模式,也称列表模式
4>服务模式,即rsync服务器
rsync的不足
1>rsync同步数据时需要扫描所有的文件后进行对比,然后进行差量传输。如果文件数量太大,rsync就显得非常低效
2>rsync不能实时监测、同步数据
inotify是一种强大的、细粒度的、异步的文件系统事件监控机制。Linux内核从2.6.13.开始加入对inotify的支持。
通过inotify可以监控文件系统中添加、删除、修改、移动等各种细微事件,利用内核接口,第三方软件可以 监控文件系统的各种变化。
inotify-tools就是一个三方软件,安装完后会生成inotifywait和inotifywatch两个命令:
inotifywait用于等待文件或文件集上的一个特定事件,可以监控任何文件和目录设置,并且可以递归地监控整个目录树;inotifywatch用于收集被监控的文件系统统计数据,包括每个inotify事件发生多少次等信息。
/proc/sys/fs/inotify/max_queued_events 表示调用inotify_init时分配到inotify instance中可排队的event数的最大值,超出这个值得事件丢弃,但触发IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances 表示每一个real user ID可以创建的inotify instance数量的上限
/proc/sys/fs/inotify/max_user_watches 表示每个inotify实例相关联的watches的上限,也就是每个inotify实例可监控的最大目录数量,如果监控文件数量巨大,需要根据情况适当的增加此值的大小。
inotifywait是一个监控等待事件:
-m,monitor表示始终保持事件监听状态
-r,recursive表示递归查询目录
-q,quit表示打印出监控事件
-e,event指定要监控的事件,常见的事件有modify,delete,create和attrib等
案例:保证3台web服务器上的文件是一致的。
1、安装rsync和inotify-tools
inotify-tools是监控文件系统变化的工具,安装到内容发布节点,3服务节点安装rsync。
说明:inotify-tools节点充当rsync客户端的角色,3台服务节点充当rsync服务器角色,整个数据同步过程就是一个从客户端向服务端发送数据的过程。
2、服务节点上配置rsync
vim rsyncd.conf
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
locak file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web1]
path = /web1/wwwroot/
comment = web1 file
ignore errors
read only = no
write only = no
hosts allow = inotift-tools_ipaddress
hosts deny = *
list = false
uid = root
gid = root
auth users = web1user
secrets file = /etc/web1.pass
再配置完上3台服务节点后,依次启动rsync:echo "/usr/local/bin/rsync --daemon" >> /etc/rc.local
3、配置内容分布节点inotify-tools
目的是将生成的html网页实时同步到集群中的服务节点上。
原文地址:http://51kxj.blog.51cto.com/3537967/1694501