码迷,mamicode.com
首页 > 其他好文 > 详细

rsync那点事儿

时间:2015-03-07 21:24:20      阅读:253      评论:0      收藏:0      [点我收藏+]

标签:

rsync那点事儿

                                                                                                                     ———石锅拌饭                                                    

1.关于rsync

rsync是remote synchronize的简称,是一款远程同步软件,在项目中多有用到。其采用的rsync算法(酷壳上有一篇介绍rsync核心算法的博文rsync的核心算法)提供了一种比较快速的方法用于客户机和远程文件服务器同步。

rsync的特点是安装和配置都比较方便,然后同步文件时能够保持符号链接,硬链接,权限,文件时间,文件归属等数学。安全性方面则提供了密码、读写权限控制和IP权限控制。


2.rsync安装和配置

由于我用的是ubuntu,已经预装了rsync,所以就不用安装了。我的配置文件是/etc/rsyncd.conf,配置如下,更详细的配置介绍参见rsyncd.config

read only = yes
list = yes
uid = nobody
gid = nogroup

pid file = /var/run/rsyncd.pid
secrets file = /etc/rsyncd.secrets
log file = /var/log/rsync.log

[test]
comment = Welcome
path = /home/ssj/rsynctest
hosts allow = 127.0.0.1 10.211.55.11
auth users = rsynctest

其中read only设置同步目录只读,uid和gid为同步采用的用户和用户组。pid file和log file为pid文件和日志文件存放地址。

test为同步目录,path为同步目录,注意该变量后面加注释如#XXX之类,加了会报chroot错误。另外,hosts allow是限制同步的ip,多个ip空格分隔。auth users和secrets file分别是认证的用户和密码文件。其中secrets file权限必须为600,否则会同步会出错,格式为用户名:密码,这里的用户名不一定是系统用户,可以随便取名,比如我的是rsynctest:testpasswd


3.rsync同步命令

rsync同步有两种模式,一种通过远程shell如ssh进行连接,另外则是通过TCP直接连接rsync服务器。因为使用ssh等同步需要设置ssh对应端口,比较麻烦点,我一般都是采用直接连接rsync服务器这种方式。同步的命令最常见的就是下面这样:

rsync -avz --progress --delete rsync://rsynctest@10.211.55.11/test/ rsynctarget/

其中rsynctest是我同步的用户名,10.211.55.11是我的rsync服务器的ip。运行命令然后输入密码就行了。如果不想每次都输入密码,可以加上参数--password-file=/etc/rsyncd.secrets,其中rsyncd.secrets是你rsync客户端机器上的文件,权限也要600,内容格式跟rsync服务器的不一样,这里只需要密码testpasswd即可。--progress显示同步的进度,--delete则是删除rsynctarget中多余的文件。

这几个选项avz很常用,其中v是verbose,z是压缩,a相当于rlptgoD,其中r是递归同步目录,如果不加-r而是用-d,则只会同步对应的目录,而不会同步目录下面的文件;l同步符号链接,p同步文件保持权限不变,t保持文件时间,g保持文件所属组,o保持文件所属用户,D保持设备文件。一般情况用avz就可以了。另外还有个选项-P也会常用,表示保持部分同步的文件,如果同步中断,可以续传。

另外有个地方要注意下,就是在同步一个子目录(注意是子目录,不是rsync配置中的那个模块test,模块test同步加不加/都一样)的时候,比如我同步rsynctest/testdir这个目录,如果命令是这样

rsync -avz rsync://rsynctest@10.211.55.11/test/testdir rsynctarget/

因为testdir后面没有加"/",则同步结果就是rsynctarget目录下面会有一个testdir目录,即rsynctarget/testdir这样。

如果命令是

rsync -avz rsync://rsynctest@10.211.55.11/test/testdir/ rsynctarget/
那结果就是把testdir目录下面的文件全部同步到rsynctarget目录下,rsynctarget目录下面不会有testdir这个目录


4.实例

为了方便,我建了个目录用来做rsync测试。目录rsynctest中的内容如下:

root@ubuntu:/home/ssj/rsynctest# ls -la
total 20
drwxr-xr-x  3 nobody nogroup 4096 Mar  7 16:33 .
drwxr-xr-x 28 ssj    ssj     4096 Mar  7 16:13 ..
-rw-r--r--  2 nobody nogroup   13 Mar  7 16:32 link.txt
lrwxrwxrwx  1 nobody nogroup   12 Mar  7 15:13 outer.txt -> ../outer.txt
lrwxrwxrwx  1 nobody nogroup    8 Mar  7 14:52 softlink.txt -> test.txt
drwxr-xr-x  2 nobody nogroup 4096 Mar  7 14:51 testdir
-rw-r--r--  2 nobody nogroup   13 Mar  7 16:32 test.txt

其中softlink.txt是test.txt的符号链接,link.txt是test.txt的硬链接,而outer.txt是上一级目录的outer.txt的硬链接。

同步的目标目录rsynctarget的内容如下:

root@ssj-mbp ssj#ls -la rsynctarget/
total 8
drwxr-xr-x   3 65534  65534   102  3  7 17:15 .
drwxr-xr-x@ 94 ssj    staff  3196  3  6 23:38 ..
-rw-r--r--   1 root   65534     7  3  7 17:15 myfile.txt

采用不同的参数,同步的结果会不一样。

1)不用-a参数,也不用-og等,命令如下:

rsync -rpvz --progress --delete rsync://rsynctest@10.211.55.11/test/ rsynctarget/ --password-file=/etc/rsyncd.secrets

由于用了--delete,则原来rsynctarget中的myfile.txt会被删除,由于没有加-l,则符号链接文件outer.txt和softlink.txt没有同步过来。同步后,硬链接test.txt被当做一个新文件了,没有保留硬链接关系,如果要保留,需要加上-H选项。此外,文件所有者也不是原来的nobody:nogroup了,如果需要保留,要加-og参数。该命令同步后,rsynctarget目录内容如下
root@ubuntu:/home/ssj# ls -la rsynctarget/
total 20
drwxr-xr-x  3 root root 4096 Mar  7 17:31 .
drwxr-xr-x 29 ssj  ssj  4096 Mar  7 17:31 ..
-rw-r--r--  1 root root   13 Mar  7 17:31 link.txt
drwxr-xr-x  2 root root 4096 Mar  7 17:31 testdir
-rw-r--r--  1 root root   13 Mar  7 17:31 test.txt

2)采用-a参数。命令如下:
rsync -avz --progress --delete rsync://rsynctest@10.211.55.11/test/ rsynctarget/ --password-file=/etc/rsyncd.secrets

同步后rsynctarget目录内容如下,可以看到使用-a后,文件所有者都得到保留,软连接也同步过来了,不过硬链接关系没有保留。要保留的话,加上-H。

root@ubuntu:/home/ssj# ls -la rsynctarget/
total 20
drwxr-xr-x  3 nobody nogroup 4096 Mar  7 16:33 .
drwxr-xr-x 29 ssj    ssj     4096 Mar  7 17:31 ..
-rw-r--r--  1 nobody nogroup   13 Mar  7 16:32 link.txt
lrwxrwxrwx  1 nobody nogroup   12 Mar  7 15:13 outer.txt -> ../outer.txt
lrwxrwxrwx  1 nobody nogroup    8 Mar  7 14:52 softlink.txt -> test.txt
drwxr-xr-x  2 nobody nogroup 4096 Mar  7 14:51 testdir
-rw-r--r--  1 nobody nogroup   13 Mar  7 16:32 test.txt


3)另外还有一个重要参数就是-P,注意这个P不是progress的意思,他是partial的意思,就是说同步过程如果出现中断(比如主动停止了同步或者网络问题导致同步中断),如果一个文件没有传完,是否保留这些已经传输的部分就是由-P来控制。这里我在rsynctest目录下面加了一个test.tar.gz文件,大小为2M,而我用bwlimit参数限制传输速度为10K/s以内,这样,中途终止同步,这样可以看到,如果没有加-P参数的时候,rsynctarget没有保存tornado.tar.gz这个文件已经传输的部分的,如果加了-P则会保存已经传输的部分,文件名也是tornado.tar.gz,下次重传会断点续传,即已经同步的部分不会重新传。同步过程中临时文件名是.tornado.tar.gz.qesuQR这样的格式。如果有程序是从同步目录取数据并处理的,最好不要用-P参数,因为如果网络问题会导致文件传了一部分,然后被处理了,这样会影响处理结果。
rsync -avzP --progress --delete --bwlimit=10 rsync://rsynctest@10.211.55.11/test/ rsynctarget/ --password-file=/etc/rsyncd.secrets


5.参考资料

rsync那点事儿

标签:

原文地址:http://blog.csdn.net/sgbfblog/article/details/44118361

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!