码迷,mamicode.com
首页 > 其他好文 > 详细

基于rsync+inotify实现文件实时同步

时间:2016-05-28 14:29:48      阅读:158      评论:0      收藏:0      [点我收藏+]

标签:rsnyc inotify 数据实时同步

rsync英文名remote  synchronization,可使本地和远程两台主机之间的数据快速复制同步镜像 远程备份的功能,rsync在拷贝时候会先比较源数据跟目标数据,不一致才复制,实现增量拷贝

监听于873/tcp

rsync有许多选项:
		-n: 在不确定命令是否能按意愿执行时,务必要事先测试;-n可以完成此功能;
		-v: --verbose,详细输出模式
		-q: --quiet,静默模式 尽可能输出少
		-c: --checksum,开启校验功能,强制对文件传输进行校验
		-r: --recursive,递归复制;
		-a: --archives,归档,保留文件的原有属性
		-p: --perms 保留文件的权限
		-t: --times 保留文件的时间戳
		-l: --links 保留文件的符号链接 
		-g: --group 保留文件的属组
		-o: --owner 保留文件的属主
		-D: --devices 保留设备文件

		-e ssh: 表示使用ssh协议作承载
		-z: 对文件压缩后传输

		--progress:显示进度条
		--stats: 显示如何执行压缩和传输

复制前先测试:

[root@martin ~]# ls
anaconda-ks.cfg  d1  d2  install.log  install.log.syslog
[root@martin ~]# rsync install.log d2 -n
[root@martin ~]# rsync install.log.a d2 -n
rsync: link_stat "/root/install.log.a" failed: No such file or directory (2)
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6]

注意:rsync命令使用中,如果源参数的末尾有斜线,就会复制指定目录的内容,而不复制目录本身;没有斜线,则会复制目录本身;目标参数末尾的斜线没有作用

源数据后面没有/测试

[root@martin ~]# rsync -rv d1 d2
sending incremental file list
d1/a
d1/a.bin.sql
d1/a.sql
d1/all.sql
d1/kk/a.sql

sent 658784 bytes  received 109 bytes  1317786.00 bytes/sec
total size is 658357  speedup is 1.00
[root@martin ~]# ls d2/
d1

源数据后面有/ 测试:

[root@martin ~]# rsync -rv d1/ d2
sending incremental file list
a
a.bin.sql
a.sql
all.sql
kk/
kk/a.sql

sent 658777 bytes  received 111 bytes  1317776.00 bytes/sec
total size is 658357  speedup is 1.00
[root@martin ~]# ls d2
a  a.bin.sql  a.sql  all.sql  d1  kk

基于ssh远程推送:

[root@martin d2]# rsync -e "ssh -p6789" -r ../d1  root@sherry:~/  --progress

[root@sherry ~]# ls
a  a.sql  anaconda-ks.cfg  d1  install.log  install.log.syslog

基于ssh远程拉取:

[root@martin ~]#  rsync -e "ssh -p6789" -rv   root@sherry:~/d3  . --progress 
root@sherry‘s password: 
receiving incremental file list
d3/
d3/a.sql
        1868 100%    1.78MB/s    0:00:00 (xfer#1, to-check=0/2)

sent 34 bytes  received 1972 bytes  802.40 bytes/sec
total size is 1868  speedup is 0.93
[root@martin ~]# ls
anaconda-ks.cfg  d1  d2  d3  install.log  install.log.syslog

安装:

服务器:sherry

客户端:martin

[root@sherry ~]# yum install xinetd rsync

配置文件:

配置文件为/etc/rsyncd.conf,获取帮助的方式:man rsyncd.conf
定义一个全局配置和多个rsync共享配置
[root@sherry ~]# vim /etc/rsyncd.conf
# Global Settings
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
log file = /var/log/rsyncd.log
# Directory to be synced
[synced_name]
path = /path/to/some_dir   #共享目录
ignore errors = yes        #同步时是否忽略错误
read only = no         #yes不能push 只能下载
write only = no      #yes不能pull  只能上传
hosts allow = white_list_ip/net  #白名单
hosts deny = *  #黑名单 

说明:
				1、二者都不出现时,默认为允许访问;
				2、只出现hosts allow: 定义白名单;但没有被匹配到的主机由默认规则处理,即为允许;
				3、只出现hosts deny: 定义黑名单;出现在名单中的都被拒绝;
				4、二者同时出现:先检查hosts allow,如果匹配就allow,否则,检查hosts deny,如果匹配则拒绝;如二者均无匹配,则由默认规则处理,即为允许;

list = false  #列出目录
uid = root   #不用root
gid = root
auth users = username  #用户认证
secrets file = /etc/rsyncd.passwd   #文件格式(明文):username:password文件权限要设置为600;
[root@sherry rsync]# cat /etc/rsyncd.conf 
# Global Settings
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
log file = /var/log/rsyncd.log

[mysql]
path =/mydata/backup/rsync-mysql
ignore errors = yes
read only = no
write only = no
hosts allow = 192.168.1.0/24
hosts deny = *
list = false
uid = sherry
gid = sherry	
auth users = tom
secrets file = /etc/rsyncd.passwd
[root@sherry rsync-mysql]# pwd
/mydata/backup/rsync-mysql
[root@sherry backup]# chown sherry.sherry rsync-mysql/  #用setfacl  数据一致性时候会报错

添加账号密码:

[root@sherry rsync]# cat /etc/rsyncd.passwd 
tom:222222
[root@sherry rsync]# chmod 600 /etc/rsyncd.passwd

启动端口:

[root@sherry rsync]# chkconfig xinetd on
[root@sherry rsync]# service xinetd restart
[root@sherry rsync]# chkconfig rsync on
[root@sherry rsync]# ss -lntup|grep 873
tcp    LISTEN     0      64                    :::873                  :::*      users:(("xinetd",121111,5))

测试:

push 手动输入密码:

#client
[root@martin mysql]# touch a
[root@martin mysql]# ls
a
[root@martin mysql]# rsync  a  tom@sherry::mysql
Password: 
#server
[root@sherry rsync-mysql]# ll
total 0
-rw-r--r-- 1 sherry sherry 0 May 28 10:01 a

push 用文件代替密码:

#client
[root@martin ~]#  vim /etc/rsyncd.passwd
222222
[root@martin ~]# chmod 600 /etc/rsyncd.passwd 
[root@martin mysql]# touch b
[root@martin mysql]# rsync   --password-file=/etc/rsyncd.passwd  b tom@sherry::mysql
#server
[root@sherry rsync-mysql]# ll
total 0
-rw-r--r-- 1 sherry sherry 0 May 28 10:01 a
-rw-r--r-- 1 sherry sherry 0 May 28 10:03 b

拉取:

[root@martin mysql]# rm -fr *
[root@martin mysql]# rsync   --password-file=/etc/rsyncd.passwd  tom@sherry::mysql/* .
[root@martin mysql]# ls
a  b

增量上传:(上传服务器端没有的文件)

#client
[root@martin mysql]# rm -f *
[root@martin mysql]# ls
[root@martin mysql]# touch a b
[root@martin mysql]# ls
a  b
[root@martin mysql]# rsync   --password-file=/etc/rsyncd.passwd -az    ./  tom@sherry::mysql 
#server
[root@sherry rsync-mysql]# rm -f *
[root@sherry rsync-mysql]# ls
a  b

#client
[root@martin mysql]# rm -f b
[root@martin mysql]# touch c
[root@martin mysql]# ls
a  c
[root@martin mysql]# rsync   --password-file=/etc/rsyncd.passwd -az    ./  tom@sherry::mysql 
#server
[root@sherry rsync-mysql]# ls
a  b  c

同步上传:(数据一致性)

#client
[root@martin mysql]# touch d
[root@martin mysql]# ls
a  c  d
#server
[root@sherry rsync-mysql]# ls
a  b  c

#client
[root@martin mysql]# rsync   --password-file=/etc/rsyncd.passwd -az  --delete   ./  tom@sherry::mysql 
#server
[root@sherry rsync-mysql]# ls
a  c  d

同步下载:(数据一致性)

#server
[root@sherry rsync-mysql]# rm -f c
[root@sherry rsync-mysql]# touch g
[root@sherry rsync-mysql]# ls
a  d  g
#client
[root@martin mysql]# ls
a  c  d
[root@martin mysql]# rsync   --password-file=/etc/rsyncd.passwd -az  --delete     tom@sherry::mysql  ./
[root@martin mysql]# ls
a  d  g



linux内核从2.6.13起开始支持inotify,通过inotify可以监控文件系统中添加 删除修改移动等各种事件。inotify是一种事件机制,它为应用程序文件系统提供实时响应事件的机制,相比cron的轮询机制相比,inotify资源消耗更低。


下载地址

http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

安装:

[root@martin inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify-tools-3.14
[root@martin inotify-tools-3.14]# make && make install
[root@martin local]# ln -sv /usr/local/inotify-tools-3.14/ /usr/local/inotify-tools
[root@martin bin]# cd /usr/local/inotify-tools/bin
[root@martin bin]# ls
inotifywait  inotifywatch

#inotifywait 在被监控的文件或目录上等待特定文件系统事件(open,close,delete等)发生,执行后处于阻塞状态,适合在shell脚本中使用
#inotifywatch 收集被监控的文件系统使用度统计数据,指文件系统事件发生的次数统计

inotifywait
-r|--recursive  递归查询目录
q |--quiet    安静模式,尽量输出少
-m |--monitor 始终保持事件监听状态
--excludei  排除文件或者目录时,不区分大小写
--timefmt 指定时间输出的格式
--format 指定命令执行时的信息输出格式,%T为前面的时间格式
 -e  事件

监控:(一般监控这三项即可 删除delete,创建create,修改close_write)

[root@martin bin]# ./inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f‘ -e delete,create,close_write /backup/mysql/ 
#另起窗口 在/backup/mysql/ 下创建文件
[root@martin mysql]# touch c
[root@martin bin]# ./inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f‘ -e delete,create,close_write /backup/mysql/  
28/05/16 12:04 /backup/mysql/c
28/05/16 12:04 /backup/mysql/c   #触发两次 create   close_write


#delete
[root@martin mysql]# rm -f a
[root@martin bin]# ./inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f‘ -e delete,create,close_write /backup/mysql/  
28/05/16 12:04 /backup/mysql/c
28/05/16 12:04 /backup/mysql/c
28/05/16 12:06 /backup/mysql/a
[root@martin scripts]# vim  inotify.sh
#!/bin/bash
inotify=/usr/local/inotify-tools/bin/inotifywait
src=/backup/mysql/ 
$inotify -mrq --format ‘%w%f‘ -e create,close_write,delete $src |while read file
do 
   cd $src &&
   rsync -az $src --delete tom@sherry::mysql    --password-file=/etc/rsyncd.passwd  >/dev/null
done
[root@martin scripts]# chmod +x inotify.sh 
[root@martin scripts]# ./inotify.sh  &
[root@martin scripts]# jobs
[1]+  Running                 ./inotify.sh &
[root@martin scripts]# kill %1
[root@martin scripts]# jobs
[1]+  已终止               ./inotify.sh
#server
[root@martin mysql]# /scripts/inotify.sh  &
[root@martin mysql]# pwd
/backup/mysql
[root@martin mysql]# ls
c  d  g  kk  ll
#client
[root@sherry rsync-mysql]# ls
c  d  g  kk  ll
#server服务器创建文件
[root@martin mysql]# touch pp
[root@martin mysql]# ls
c  d  g  kk  ll  pp
#client
[root@sherry rsync-mysql]# ls
c  d  g  kk  ll  pp   #上传完成

#server
[root@martin mysql]# rm -f c d
#cilent
[root@martin mysql]# ls
g  kk  ll  pp     #可删除

加入开机启动

echo ‘/bin/sh   /scripts/inotify.sh  &‘ >> /etc/rc.local
[root@martin mysql]# ps -ef |grep inotify.sh
root     126119      1  0 12:21 ?        00:00:00 /bin/bash /scripts/inotify.sh
root     126121 126119  0 12:21 ?        00:00:00 /bin/bash /scripts/inotify.sh


基于rsync+inotify实现文件实时同步

标签:rsnyc inotify 数据实时同步

原文地址:http://marvin89.blog.51cto.com/9163436/1784018

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!