(转)rsync+inotify实时同步

标签：条件   name   its   安全性   时钟   同步   uid   res   停止   

原文：http://lxw66.blog.51cto.com/5547576/1331048

声明：rsync inotify 需要逆向思考，当只做rsync不实时同步时，我们一般是从rsync服务端向rsync客户端同步数据。当需要添加inotify实现实时同步数据时，我们就需要从rsync客户端向各rsync服务端同步数据，这样rsync客户端就变成了master，而rsync服务端就变成了slave。

原理：当web3的本地目录，也就是需要同步的目录发生变化时，比如有文件改名、更新、删除、权限变化，此时就使用inotify命令查找这些变化，进行相应的轮询工作

服务器地址分配：

Web1：192.168.1.103 （rsync 服务节点）

Web2：192.168.1.104 （rsync 服务节点）

Web3：192.168.1.105  （rsync 内容发布节点、inotify）

同步的目录是 /mnt ,自动同步顺序为 web2,web3——web1。我们将web1 配置成 rsync 的服务器即可。

一、配置 rsync 服务器端（web1）

1.安装rsync软件

# yum install rsync

2.手动创建rsync配置文件

# vim /etc/rsyncd.conf

uid = root                             #全局配置开始，运行rsync的用户

gid = root                             #运行rsync的用户组

usechroot = no                     #是否让进程离开工作目录

max connections = 20            #最大并发数

timeout = 600                       #连接超时时间

pid file = /var/run/rsyncd.pid            #指定rsync的pid存放路径

lock file = /var/run/rsync.lock           #指定rsync的锁文件存放路径

log file = /var/log/rsyncd.log             #指定rsync的日志存放路径

[web_log]                            #模块配置开始

path = /data/web_log/             #需要备份的文件路径

ignore errors                         #忽略一些无关的I/O错误

read only = false                    #false为关闭,true表示开启。表示只读，不允许上传文件

writeonly = false                    #不允许下载

list = false                            #客户请求可以使用模块列表时是否被列出

hosts allow = 192.168.1.0/24           #可以访问此模块的主机，*表示任何主机，此处是网段，某个主机直接写ip

hosts deny = 0.0.0.0/32                     #禁止访问此模块的主机地址

auth users = backuser                        #自定义连接该模块的用户名，多个用户用逗号分隔

secrets file = /etc/rsync.password #指定一个包含“用户名：密码”格式的文件

3.创建备份目录

# mkdir -p /data/web_log/

4.建立 rsync 用户名和密码文件

# echo"backuser:123" >> /etc/rsync.password

5.为 /etc/rsync.password授权为 600（这个文件的权限必须是 600）

# chmod  600 /etc/rsync.password

6.启动rsync并添加开启自动启动

# /usr/bin/rsync --daemon  &

# echo "/usr/bin/rsync --daemon" >> /etc/rc.local

二、配置 rsync 服务器端（web2），和web1配置一样

# yum install rsync

# vim /etc/rsyncd.conf

uid = root

gid = root

usechroot = no

max connections = 20

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock  

log file = /var/log/rsyncd.log

[web_log]

path = /data/web_log/             #定义你需要备份的路径，可以跟web1上不一样

ignore errors

read only = false

writeonly = false

list = false

hosts allow = *

hosts deny = 0.0.0.0/32

auth users = backuser

secrets file = /etc/rsync.password

# mkdir -p /data/web_log/

# echo "backuser:123" >> /etc/rsync.password

# chmod  600 /etc/rsync.password

# /usr/bin/rsync --daemon  &

# echo "/usr/bin/rsync --daemon" >> /etc/rc.local

到此，服务器端配置完成

三、客户端配置（web3）：

1.设置 rsync 客户端的密码文件，客户端只需要设置 rsync 同步的密码即可，不用设置用户名

# yum install rsync

# echo "123" > /etc/rsync.password

2.将密码文件的权限设置成 600（这个文件的权限必须是600）

# chmod 600 /etc/rsync.password

配置 Inotify（在 web3上配置）

1. 安装 inotify 软件包

wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

# yum install gcc        #如果没安装gcc的请安装，已安装请跳过此步。

# tar zxf inotify-tools-3.14.tar.gz

# cd inotify-tools-3.14

# ./configure && make && make install

2.在web3上测试一下是否可以同步文件

rsync -vzrtopg --progress /mnt/ backuser@192.168.1.103::web_log  --password-file=/etc/rsync.password    #上传文件

rsync -vzrtopg --progress  backuser@192.168.1.103::web_log /opt/ --password-file=/etc/rsync.password     #下载文件        

3. 写一个脚本来实现，当/mnt/中文件有变化时，让各rsync服务节点同步数据：

# vim /root/inotify.sh

#!/bin/bash

src=/mnt/                  #此文件是rsync客户端本地文件，需要上传到各个rsync服务节点

des1=web_log          # web1上需要同步的目录

des2=web_log          # web2上需要同步的目录

host1=192.168.1.103      #rsync服务节点1

host2=192.168.1.104      #rsync服务节点2

user1=backuser                 #连接rsync使用的用户名web1上

user2=backuser                 #连接rsync使用的用户名web2上

/usr/local/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f‘ -emodify,delete,create,attrib $src | while read file

do

/usr/bin/rsync -vzrtopg --delete --progress $src $user1@$host1::$des1 --password-file=/etc/rsync.password

/usr/bin/rsync -vzrtopg --delete --progress $src $user2@$host2::$des2 --password-file=/etc/rsync.password

echo "${files} was rsynced" >> /var/log/rsync.log 2>&1

done

或写成如下脚本

# vim /root/inotify.sh

#!/bin/bash

/usr/local/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f‘ -e modify,delete,create,attrib /mnt/ | while read file

do

/usr/bin/rsync -vzrtopg --delete --progress /mnt/ backuser@192.168.1.103::web_log --password-file=/etc/rsync.password

/usr/bin/rsync -vzrtopg --delete --progress /mnt/ backuser@192.168.1.104::web_log --password-file=/etc/rsync.password

echo "${files} was rsynced" >> /var/log/rsync.log 2>&1

done

5. 给予执行权限

# chmod +x /root/inotify.sh

# /root/inotify.sh &        #在后台执行

6.最后，将此脚本加入系统自启动文件

# echo "/root/inotify.sh" >> /etc/rc.local

7.向/mnt/下添加内容，去103上查看是否同步

# ls /data/web_log/

1 11  2  3  4  5  6  7  9

8.编写监听inotify进程脚本，防止inotify由于某种原因中断无法实时同步（如果不需要监听，此步可以跳过）

# vim /root/inotifyjianting.sh

#!/bin/bash

ps -lef |pgrep inotify &> /dev/null    #如果有inotify进程在运行，那么echo $? 返回值是0，条件为真。否则返回值为非0  

if [ -z $? ] ;then                #关键在$?这个变量 ，它是代表上一条命令执行后的退出状态，如果是0的话表示成功，非0表示未开启

echo "inotify runing 正在运行...."

else

/root/inotify.sh &

echo "inotify runing 已运行....."

fi

# chmod +x /root/inotifyjianting.sh

9.添加定时任务计划

# crontab -e

* * * * *     /root/inotifyjianting.sh &> /dev/null

四、rsync如何排除不想同步的目录或文件（web3）

单个文件排除：比如我不想同步/opt/aa.php文件,直接使用 --exclude “aa.php”

此处只拿一台web举例，如有多台，可自行添加

# vim /root/inotify.sh

#!/bin/bash

src=/opt/

des=web_log

ip=192.168.1.103

/usr/local/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f‘ -emodify,delete,create,attrib $src | while read file

do

rsync-vzrtopg --delete --progress --exclude"aa.php" $src backuser@$ip::$des--password-file=/etc/rsync.password > /dev/null 2>&1 && echo"$src was rsynced"

echo"${files} was rsynced" >>/tmp/rsync.log 2>&1

done

#ps -elf| pgrep inotify |xargs kill -9 #杀死后台运行的inotify脚本

杀死后台运行的inotify脚本

# ps -elf| pgrep inotify |xargs kill -9

启动脚本

# sh /root/inotify.sh &

设置每一个inotify实例相关联的watchs的上限，否则传输的文件过多会报错

# echo 30000000 > /proc/sys/fs/inotify/max_user_watches

多个文件或目录排除：使用--exclude-from=“/root/xx.list”，文件列表，此文件名写绝对路径,写在哪里都可以，不必就写在/opt目录下

创建test目录

# mkdir/opt/test

修改inotify.sh脚本,添加列表文件

# vim /root/inotify.sh

#!/bin/bash

src=/opt/

des=web_log

ip=192.168.1.103

/usr/local/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f‘ -emodify,delete,create,attrib $src | while read file

do

rsync-vzrtopg --delete --progress --exclude-from="/root/xx.list" $src backuser@$ip::$des --password-file=/etc/rsync.password > /dev/null2>&1 && echo "$src was rsynced"

echo"${files} was rsynced" >>/tmp/rsync.log 2>&1

done

#ps -elf| pgrep inotify |xargs kill -9 #杀死后台运行的inotify脚本

编辑要排除文件的列表，即/root/xx.list

编辑要排除的文件列表，其中目录直接写目录名，文本文件写相对路径

# vim /root/xx.list    #全部相对路径，也就是从/opt的下一级目录开始写，不写/opt目录

aw.php                        #排除/opt/aw.php文件，文件需要从/opt的下一级目录开始写，后面的路径要写全

bb                                 #排除/opt/bb目录，目录无论是/opt的哪个路径下，只写目录名即可

cc                                 #排除/opt/test/cc目录

test/ww.php                  #排除/opt/test/aa.php文件

杀死后台运行的进程

# ps -elf| pgrep inotify |xargs kill -9

执行脚本，在后台执行

# sh /root/inotify.sh &

设置每一个inotify实例相关联的watchs的上限，否则传输的文件过多会报错

# echo 30000000 > /proc/sys/fs/inotify/max_user_watches

创建aw.php，然后去web1和web2上分别查看，没有看到ww.php为成功，其余2个就不在此一一举例了，道理都一样

[root@localhostopt]# touch aw.php

[root@localhostopt]#/opt/ was rsynced

/opt/ wasrsynced

以是inotify相关参数介绍

脚本相关解释如下：

--timefmt：

指定时间的输出格式。

--format：

指定变化文件的详细信息。

这个脚本的作用就是通过Inotify监控文件目录的变化，进而触发rsync进行同步操作。由于这个过程是一种主动触发操作，是通过系统内核完成的，所以，比起那些遍历整个目录的扫描方式来，效率要高很多。

然后我们将此脚本放入后台运行，输入如下命令即可：

Sh /root/rsync.sh&

rsync参数说明：

-z 传输时压缩；

-P 传输进度；

-v 传输时的进度等信息，和-P有点关系，自己试试。可以看文档；

-e ssh的参数建立起加密的连接。

-u只进行更新，防止本地新文件被重写，注意两者机器的时钟的同时

--progress是指显示出详细的进度情况

--delete是指如果服务器端删除了这一文件，那么客户端也相应把文件删除，保持真正的一致

--password-file=/password/path/file来指定密码文件，这样就可以在脚本中使用而无需交互式地输入验证密码了，这里需要注意的是这份密码文件权限属性要设得只有属主可读。

inotify 参数说明：

-m 监控

-r 递归

-q 静默模式

-e 指定你要同步的事件

  modify  修改

  delete  删除

  create  创建

  attrib  属性

以下是rsyncd.conf配置文件参数介绍

全局参数说明

在文件中[modlue]之前的所有参数都是全局参数，当然也可以在全局参数部分定义模块参数，这时候该参数的值就是所有模块的默认值。

模块参数说明

在全局参数之后就需要定义一个或多个模块了，模块中可以定义以下参数：
红色的为必须设置；绿色的为涉及到安全问题，应该使用默认配置；其他的为可以不进行设置。

(转)rsync+inotify实时同步

标签：条件   name   its   安全性   时钟   同步   uid   res   停止   

原文地址：http://www.cnblogs.com/liujiacai/p/7670199.html