标签:镜像 set limit 用户 只读 需要 数据备份 相对路径 服务
Rsync简介
Rsync英文全称Remote synchronization,一个rsync相当于scp,cp,rm,但是还优于他们每一个命令。
在同步备份数据时,默认情况下,Rsync通过其独特的“quick check”算法,它仅同步大小或者最后修改时间发生变化的文件或目录,当然也可根据权限,属主等属性的变化同步,但需要指定相应的参数,甚至可以实现只同步一个文件里有变化的内容部分,所以,可以实现快速的同步备份数据。传统的cp,scp工具拷贝每次均为完整的拷贝,而rsync除了可以完整拷贝外,还具备增量拷贝的功能,因此,从同步数据的性能及效率上,Rsync工具更胜一筹
特性:
rsync常见的参数选项
-v:显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
-P:显示文件传输的进度信息。(实际上"-P"="--partial --progress",其中的"--progress"才是显示进度信息的)。
-n --dry-run :仅测试传输,而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
-a --archive :归档模式,表示递归传输并保持文件属性。等同于"-rtopgDl"。
-r --recursive:递归到目录中去。
-t --times:保持mtime属性。强烈建议任何时候都加上"-t",否则目标文件mtime会设置为系统时间,导致下次更新
:检查出mtime不同从而导致增量传输无效。
-o --owner:保持owner属性(属主)。
-g --group:保持group属性(属组)。
-p --perms:保持perms属性(权限,不包括特殊权限)。
-D :是"--device --specials"选项的组合,即也拷贝设备文件和特殊文件。
-l --links:如果文件是软链接文件,则拷贝软链接本身而非软链接所指向的对象。
-z :传输时进行压缩提高效率。
-R --relative:使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端,包括它们的属性。用法见下文示例。
--size-only :默认算法是检查文件大小和mtime不同的文件,使用此选项将只检查文件大小。
-u --update :仅在源mtime比目标已存在文件的mtime新时才拷贝。注意,该选项是接收端判断的,不会影响删除行为。
-d --dirs :以不递归的方式拷贝目录本身。默认递归时,如果源为"dir1/file1",则不会拷贝dir1目录,使用该选项将拷贝dir1但不拷贝file1。
--max-size :限制rsync传输的最大文件大小。可以使用单位后缀,还可以是一个小数值(例如:"--max-size=1.5m")
--min-size :限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。
--exclude :指定排除规则来排除不需要传输的文件。
--delete :以SRC为主,对DEST进行同步。多则删之,少则补之。注意"--delete"是在接收端执行的,所以它是在
:exclude/include规则生效之后才执行的。
-b --backup :对目标上已存在的文件做一个备份,备份的文件名后默认使用"~"做后缀。
--backup-dir:指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。
-e :指定所要使用的远程shell程序,默认为ssh。
--port :连接daemon时使用的端口号,默认为873端口。
--password-file:daemon模式时的密码文件,可以从中读取密码实现非交互式。注意,这不是远程shell认证的密码,而是rsync模块认证的密码。
-W --whole-file:rsync将不再使用增量传输,而是全量传输。在网络带宽高于磁盘带宽时,该选项比增量传输更高效。
--existing :要求只更新目标端已存在的文件,目标端还不存在的文件不传输。注意,使用相对路径时如果上层目录不存在也不会传输。
--ignore-existing:要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能,见下文示例。
--remove-source-files:要求删除源端已经成功传输的文件。
将/etc/passwd文件同步至/opt目录下,RSYNC无法重命名,只能同步
[root@server ~]# cp /etc/passwd /opt/passwd01 [root@server ~]# rsync -azP /etc/passwd /opt/ #(相当于cp -a) sending incremental file list passwd 944 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=0/1) [root@server ~]# ls -ld /opt/passwd* -rw-r--r--. 1 root root 944 Jan 24 11:48 /opt/passwd -rw-r--r--. 1 root root 944 Jan 24 19:06 /opt/passwd01 [root@server ~]# ls -l /etc/passwd -rw-r--r--. 1 root root 944 Jan 24 11:48 /etc/passwd [root@server ~]#
删除目的地有但是源地址没有的文件
--delete
[root@server ~]# ls -l /mnt/ total 0 -rw-r--r--. 1 root root 0 Jan 24 19:10 cp01 -rw-r--r--. 1 root root 0 Jan 24 19:10 cp02 [root@server ~]# ls -l /opt/ total 0 -rw-r--r--. 1 root root 0 Jan 24 19:10 test01 -rw-r--r--. 1 root root 0 Jan 24 19:10 test02 [root@server ~]# rsync -azP --delete /mnt/ /opt/ sending incremental file list deleting test02 deleting test01 ./ cp01 0 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=1/3) cp02 0 100% 0.00kB/s 0:00:00 (xfr#2, to-chk=0/3) [root@server ~]# ls -l /mnt/ total 0 -rw-r--r--. 1 root root 0 Jan 24 19:10 cp01 -rw-r--r--. 1 root root 0 Jan 24 19:10 cp02 [root@server ~]# ls -l /opt/ total 0 -rw-r--r--. 1 root root 0 Jan 24 19:10 cp01 -rw-r--r--. 1 root root 0 Jan 24 19:10 cp02 [root@server ~]#
小结:delete选项充分说明了RSYNC是以源地址为主的同步。
基于ssh的数据传输
server(17): [root@server ~]# dd if=/dev/zero of=/opt/testfile bs=10M count=10 10+0 records in 10+0 records out 104857600 bytes (105 MB) copied, 0.215459 s, 487 MB/s [root@server ~]# [root@server ~]# rsync -azP --bwlimit=100 /opt/testfile 192.168.181.18:/opt #--bwlimit 默认单位是kb/s root@192.168.181.18‘s password:(123456) sending incremental file list testfile 104,857,600 100% 120.15MB/s 0:00:00 (xfr#1, to-chk=0/1) [root@server ~]# 或是: ot@server ~]# rsync -azP -e ‘ssh -p 22‘ --bwlimit=100 /opt/testfile 192.168.181.18:/opt #看完这条命令就很容易理解“RSYNC基于ssh的数据传输” root@192.168.181.18‘s password: sending incremental file list testfile 104,857,600 100% 120.30MB/s 0:00:00 (xfr#1, to-chk=0/1) [root@server ~]#
小结:RSYNC的操作都是单向流通的
上面的实例,传输需要输入密码,然而ssh是可以设置免密登录的,那么RSYNC是否也可以?请看下面案例:
免密同步
server(181.17) [root@server ~]# dd if=/dev/zero of=/backup/testfile bs=10M count=10 10+0 records in 10+0 records out 104857600 bytes (105 MB) copied, 0.273959 s, 383 MB/s [root@server ~]# ls -l /backup/ total 102400 -rw-r--r--. 1 root root 104857600 Jan 24 20:03 testfile [root@server ~]# [root@server ~]# cat /etc/rsyncd.conf # /etc/rsyncd: configuration file for rsync daemon mode # See rsyncd.conf man page for more options. # configuration example: uid = rsync gid = rsync use chroot = no max connections = 4 pid file = /var/run/rsyncd.pid #exclude = lost+found/ #transfer logging = yes timeout = 300 lock file = /var/run/rsyncd.lock log file = /var/run/rsyncd.log #ignore nonreadable = yes dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 #这些后缀名不进行压缩传输 [backup] #同步名 path = /backup #同步文件路径 comment = backup export area ignore errors #忽略错误 read only =false #只读,设置为false表示可以读写,设置为yes表示只读 list =false #远程列表,也可以写IP地址 hosts allow = 192.168.181.0/24 #放行网段 hosts deny = 0.0.0.0/32 #禁止网段 auth users =alineET #虚拟用户 secrets file = /etc/rsync.password #密码文件 [root@server ~]# [root@server ~]# mkdir /backup [root@server ~]# useradd -M -s /sbin/nologin rsync [root@server ~]# chown -R rsync:rsync /backup [root@server ~]# echo "alineET:123456">/etc/rsync.password #注意虚拟用户与密码的格式 [root@server ~]# chmod 600 /etc/rsync.password [root@server ~]# cat /etc/rsync.password alineET:123456 [root@server ~]# rsync --daemon #开启同步的方式,关闭使用kill [root@server ~]# systemctl stop firewalld [root@server ~]# iptables -F [root@server ~]# setenforce 0 [root@server ~]# desktop(181.18) 秘钥登录同步: [root@desktop ~]# rsync -azP alineET@192.168.181.17::backup /backup/ Password: (123456) receiving incremental file list ./ testfile 104,857,600 100% 180.83MB/s 0:00:00 (xfr#1, to-chk=0/2) [root@desktop ~]# 免密登录同步: [root@desktop ~]# echo "123456">/etc/rsync.password #注意格式,只写密码,与服务器里面的虚拟用户密码相同 [root@desktop ~]# rsync -azP alineET@192.168.181.17::backup /backup/ --password-file=/etc/rsync.password receiving incremental file list ./ testfile 104,857,600 100% 181.49MB/s 0:00:00 (xfr#1, to-chk=0/2) [root@desktop ~]#
标签:镜像 set limit 用户 只读 需要 数据备份 相对路径 服务
原文地址:https://www.cnblogs.com/tanshouke/p/12232374.html