码迷,mamicode.com
首页 > 其他好文 > 详细

Rsync服务简介部署使用及原理详解

时间:2020-07-30 01:26:34      阅读:99      评论:0      收藏:0      [点我收藏+]

标签:配置文件   cron   服务器端   存在   speed   ls -l   算法   add   子目录   

Rsync简介

什么是rsync?

Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rstync软件适用于unix/linux/windows等多种操作系统平台。

Rsync英文全称为Remotesynchronization,即远程同步。从软件的名称就可以看出来,Rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能,这个功能类似ssh带的scp命令,但又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝。当然,Rsync还可以在本地主机的不通分区或目录之间全量及增量的复制数据,这又类似cp命令,但同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝。此外,利用Rsync还可以实现删除文件和目录功能,这又相当于rm命令。

一个rsync相当于scp,cp,rm,并且优于他们每一个命令。

在同步备份数据时,默认情况下,Rsync通过其独特的”quick check”算法,它仅同步大小或者最后修改时间发生变化的文件或目录,当然也可以根据权限,属主等属性的变化同步,但需要制定相应的参数,甚至可以实现只同步一个文件里有变化的内容部分,所以,可以实现快速的同步备份数据。

Rsync2.x和rsync3.x差异

# CentOS5,rsync2.x对比方法,把所有的文件对比一遍,然后进行同步。
# CentOS6,rsync3.x对比方法,一边对比差异,一边对差异的部分进行同步。
rsync特性
# 支持拷贝特殊文件如链接文件,设备等。
# 可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能。
# 可以做到保持源文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变-p。
# 可以实现增量同步,既只同步发生变化的数据,因此数据传输效率很高。
# 可以使用rcp,rsh,ssh等方式来配合传输文件(rsync本身对数据不加密)。
# 可以通过sockert(进程方式)传输文件和数据(服务端和客户端)。
# 支持匿名或认证(无需系统用户)的进程模式传输,可实现方便安全的进行数据备份及镜像。

# 注意:需要注意拷贝的时候源目录加“/”和不加“/”的区别(加“/”表示只拷贝该目录之下的文件;不加“/”表示连该目录一起拷贝)
rsync应用场景

定时备份

# 可以通过crond + rsync 来实现

实时备份

# 可以通过inotify(sersync)+ rsync来实现

inotify使用

作为客户端命令,常用参数如下

inotify命令参数
# -avz      --多个参数的集合
# -v, --verbose 详细模式输出,传输时的进度等信息
# -z, --compress 传输时进行压缩以提高传输效率,--compress-level=NUM可按级别压缩。
# -a,--archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rtopgDl
# -r,--recursive 对子目录以递归模式,即目录下所有目录有同样传输
# -t,--times,保持文件时间信息
# -o,--owner 保持文件属主信息
# -p,--perms 保持文件权限
# -g,--group 保持文件属组信息
# -P,--progress 显示同步的过程及传世时的进度等信息(大写的P)
# -D,devices 保持设备文件信息
# -l,--links 保持软链接   
# -e,--rsh=COMMAND 使用的信道协议,指替代rsh的shell程序。例如:ssh
# -exclude=PATTERN指排斥不需要传输的文件模式
# --bwlimit=RATE 限速,默认是以kbit/s为单位
# --delete  --删除(本地没有,远端也没有),让目标目录SRC和源目录数据DST一致,适用于两个目录完全一样
innotify的三种工作模式之本地模式

Rsync的本地模式,即将本地系统的文件或目录从一个目录移动到另外一个目录中,相当于一个系统命令来使用(不常用)。

命令格式

# rsync [OPTION...]SRC... [DEST]

Example

[root@jenkins data]# echo 1234 > test1.txt
[root@jenkins data]# ls
test1.txt
[root@jenkins data]# rsync /data/test1.txt /data/test2.txt
[root@jenkins data]# cat /data/test2.txt
1234
innotify的三种工作模式之shell模式

Rsync的远程shell模式,即将本地系统文件或目录从一台服务器传输向另外一台服务器,类似于scp命令。既可以推送数据到其他服务器,也可以下拉文件到本地。(该模式也不常用)

命令格式

# Pull: rsync[OPTION...] [USER@]HOST:SRC... [DEST]
# Push: rsync[OPTION...] SRC... [USER@]HOST:DEST

Example: 将一个文件传输到另一台服务器

[root@client data]# rsync -avz /data/test1.txt root@39.108.140.0:/root/
root@39.108.140.0‘s password: 
sending incremental file list
test1.txt

sent 97 bytes  received 35 bytes  37.71 bytes/sec
total size is 5  speedup is 0.04


[root@server ~]# cat test1.txt
1234

Example: 将一台主机的文件下载到本地

[root@client data]# rsync -avz 39.108.140.0:/root/test1.txt /data/test3.txt
root@39.108.140.0‘s password: 
receiving incremental file list
test1.txt

sent 43 bytes  received 97 bytes  56.00 bytes/sec
total size is 5  speedup is 0.04
[root@client data]# cat test3.txt 
1234

加密传输(隧道传输)

Rsync的传输协议默认是不加密的明文传输,如果有加密传输文件的需求,可以自定义加密管道管道协议。使用参数:-e来指定相应的管道协议。

Example: 跨主机加密传输文件,指定ssh协议

[root@client data]# rsync -avz /etc/hosts -e ‘ssh -p 22‘ root@39.108.140.0:
root@39.108.140.0‘s password: 
sending incremental file list

sent 43 bytes  received 12 bytes  22.00 bytes/sec
total size is 211  speedup is 3.84

# -e  指定加密协议以及协议端口号

限速传输

Rsync的传输默认是不限速的,传输时可能会占用很大的网络带宽,影响业务正常使用。可以使用参数:-bwlimit来限制传输时的网络带宽

Example: 传输时限速为1M/s

[root@client data]# dd if=/dev/zero of=test bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.00811283 s, 1.3 GB/s

[root@client data]# seq 10 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1 

# 不限速
[root@client data]# rsync -avz /data/test -e ‘ssh -p 22‘ root@39.108.140.0:/data
root@39.108.140.0‘s password: 
sending incremental file list
test

sent 10,293 bytes  received 35 bytes  2,950.86 bytes/sec
total size is 10,485,760  speedup is 1,015.27


# 限速
[root@client data]# rsync -avz /data/test -e ‘ssh -p 22‘ --bwlimit=1 root@39.108.140.0:/data
root@39.108.140.0‘s password: 
sending incremental file list
test

sent 10,293 bytes  received 35 bytes  826.24 bytes/sec
total size is 10,485,760  speedup is 1,015.27

# bwlimit的参数默认为1K bits/s

文件备份需要注意的事项

# 1. 备份需要考虑带宽限速(rsync,scp,ftp都有限速功能)
# 2. 备份需要选择业务低谷
innotify的三种工作模式之Daemon模式

Daemon,即守护进程。该模式是在一台rsync服务器上安装并运行一个rsync的服务进程,其他的客户端通过rsync命令上传文件到服务器中。该模式是rsync最常用的功能,用来做数据的定时或者实时备份,下面来具体安装和介绍daemon模式。

Daemon模式的安装与配置

环境清单
节点名 IP 软件版本 硬件 网络 说明
server 39.108.140.0 rsync-3.1.2 1C2G 阿里云 测试环境
Client 47.95.119.205 rsync-3.1.2 1C2G 阿里云 测试环境
安装
[root@server data]# yum -y install rsync
[root@server data]# rpm -qa |grep rsync
rsync-3.1.2-10.el7.x86_64
配置服务端

修改/etc/rsyncd.conf

该配置文件时rsync服务器端默认的配置文件,该文件默认不存在,需要自己手动创建!填入内容如下:

cat rsyncd.conf
uid = rsync  # 配置用户,远端命令要使用rsync用户访问共享目录(访问目录的权限)
gid = rsync  # 配置rsync服务程序的用户组
use chroot = no  # 安全相关
max connections = 200  # 设置最大连接数
timeout = 300   # 设置超时时间
pid file = /var/run/rsyncd.pid   # 定义进程文件
lock file = /var/run/rsync.lock  # 定义锁文件
log file = /var/log/rsyncd.log   # 定义日志文件
[backup]        # 配置一个数据存储的模块
path = /data  # 模块备份数据路径
ignore errors
read only = false
list = false
hosts allow = 47.95.119.205,172.25.1.0/24  # 配置登录权限,可以多个IP网段用逗号隔开
#hosts deny = 0.0.0.0/32
auth users = rsync_backup # 配置匿名服务登录用户(访问服务的权限)
secrets file = /etc/rsync.password # 配置匿名用户和密码文件
配置用户
# 创建用户名为rsync的用户,只让其运行程序,不给其登录系统的权限以及家目录
[root@server data]# useradd rsync -s /sbin/nologin -M
[root@server data]# tail -1 /etc/passwd
rsync:x:1001:1001::/home/rsync:/sbin/nologin
配置存储路径

创建目录/data,并将其所属用户和用户组修改为rsync,因为程序需要用rsync用户来访问这个目录,如果rsync没有权限访问该目录,那么客户端也无法上传文件到备份数据目录。命令如下:

[root@server data]# mkdir /data/ -p
[root@server data]# chown rsync:rsync /data/
[root@server data]# ls -ld /data/
drwxr-xr-x 2 rsync rsync 4096 Jul 29 23:12 /data/
配置虚拟用户文件

/etc/rsync.password

rsync有一个重要的特性,就是可以使用一个虚拟的用户(不是实际存在的用户)来访问系统服务。为了使用这个功能,我们需要创建一个虚拟的用户文件,该文件已经在rsyncd.conf配置文件里面的secrets file定义好了,是/etc/rsync.password文件

[root@server data]#  echo "rsync_backup:youmen" > /etc/rsync.password 
[root@server data]# cat /etc/rsync.password
rsync_backup:youmen
[root@server data]# chmod 600 /etc/rsync.password
# 文件创建完成之后,需要修改文件的权限属性为600,否则程序无法正常运行
配置开机自启动
[root@server data]#  echo ‘/usr/bin/rsync --daemon‘ >> /etc/rc.local 
[root@server data]# tail -1 /etc/rc.local 
/usr/bin/rsync --daemon
配置客户端

/etc/rsync.password

相对于服务器端来说,客户端的配置很简单,只需要创建一个密码文件就行了。这个密码文件也是默认不存在,需要手动创建。

[root@client data]# echo "youmen" > /etc/rsync.password
[root@client data]# cat /etc/rsync.password
youmen
[root@client data]# chmod 600 /etc/rsync.password
[root@client data]# ls -l /etc/rsync.password
-rw------- 1 root root 7 Jul 29 23:29 /etc/rsync.password

使用rsync

启动并验证服务
[root@server data]# rsync --daemon
[root@server data]# ss -atnlp |grep 873
LISTEN     0      5            *:873                      *:*                   users:(("rsync",pid=25230,fd=3))
LISTEN     0      5           :::873                     :::*                   users:(("rsync",pid=25230,fd=5))
   
# 重启
[root@server data]# pkill rsync
[root@server data]# rsync --daemon              
同步数据

命令格式

# 下载: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
# rsync [OPTION...]rsync://[USER@]HOST[:PORT]/SRC... [DEST]

# 上传: rsync [OPTION...] SRC... [USER@]HOST::DEST
# rsync [OPTION...] SRC...rsync://[USER@]HOST[:PORT]/DEST
创建测试数据

客户端

[root@client data]# seq 10 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1 
[root@client data]# ls
10.dat  2.dat  4.dat  6.dat  8.dat
1.dat   3.dat  5.dat  7.dat  9.dat

服务端

[root@server data]#  seq 2 | xargs -i dd if=/dev/zero of={}.dat bs=1024 count=1 
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 0.000147976 s, 6.9 MB/s
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 9.5039e-05 s, 10.8 MB/s
[root@server data]# ls
1.dat  2.dat
下载数据测试

Example1: 服务端免密同步文件到客户端

[root@client ~]# rsync -auv --password-file=/etc/rsync.password rsync_backup@39.108.140.0::backup  /data
receiving incremental file list
./
1.dat
2.dat

sent 69 bytes  received 2,240 bytes  1,539.33 bytes/sec
total size is 2,048  speedup is 0.89

Example: 客户端文件同步到服务端

[root@client data]# rsync -avz --delete /data/ rsync_backup@39.108.140.0::backup --password-file=/etc/rsync.password
sent 556 bytes  received 921 bytes  2,954.00 bytes/sec
total size is 10,240  speedup is 6.93
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]

Rsync优缺点

优点
# 1、支持数据增量备份,支持socket(daemon),集中备份(支持推拉,都是以客户端为参照物);

# 2、远程SHELL通道模式可以加密(SSH)传输,socket(daemon)模式需要加密传输可以使用×××服务或者ipsec服务;
缺点
# 1、大量小文件同步的时候,时间比较长,有的时候,rsync进程可能会停止;
# 2、同步大文件,10G这样的大文件有时也会有问题,中途可能会中断。
# 3、未完整同步前,文件默认是隐藏的,可以通过续传等参数实现传输。

# 注意:
# 1、模式2和模式3不能结合使用
# 2、注意源目录后面加“/”与没有的区别(有“/”表示只同步该目录下的数据;没有表示连整个目录一起同步)

Rsync服务简介部署使用及原理详解

标签:配置文件   cron   服务器端   存在   speed   ls -l   算法   add   子目录   

原文地址:https://www.cnblogs.com/you-men/p/13401446.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!