码迷，mamicode.com
首页 > 其他好文 > 详细

centos7服务搭建常用服务配置之二：Rsync+sersync实现数据实时同步

时间：2019-09-19 01:44:42      阅读：127      评论：0      收藏：0      [点我收藏+]

标签：失效   资讯   算法   img   超级   实验环境   pull   备份目录   tool   

目录

1、RSYNC数据备份

1.1 rsync服务简介

rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

1.2 rsync特点和优势

  • rsync功能
  • 作为命令，实现本地-远程文件同步

  • 作为服务，实现本地-远程文件同步

  • rsync特点
  • 可以镜像保存整个目录树和文件系统
  • 可以保留原有的权限(permission,mode)，owner,group,时间(修改时间,modify time)，软硬链接，文件acl,文件属性(attributes)信息等
  • 传输效率高，使用同步算法，只比较变化的
  • 支持匿名传输，方便网站镜像；也可以做验证，加强安全

  • rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽

  • rsync同类服务类型
  • sync 同步：刷新文件系统缓存，强制将修改过的数据块写入磁盘，并且更新超级块。
  • async 异步：将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘。

  • rsync 远程同步：remote synchronous

  • 常见备份分类
    • 完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地
    • 差量备份：备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性)
    • 增量备份：备份上次备份以后有变化的数据.(他才不管是那种类型的备份,有变化的数据就备份,他会清除存档属性)

注意： 通常结合shell脚本使用，效率更高。官方网站：https://rsync.samba.org/

1.3 rysnc运行模式简介

  • 运行模式和端口
  • 采用C/S模式（客户端/服务器模式）[ 就是一个点到点的传输，直接使用rsync命令 ]

  • 端口873

  • 相关名词解释
  • 发起端：负责发起rsync同步操作的客户机叫做发起端，通知服务器我要备份你的数据
  • 备份源：负责相应来自客户机rsync同步操作的服务器叫做备份源，需要备份的服务器
  • 服务端：运行rsyncd服务，一般来说，需要备份的服务器

  • 客户端：存放备份数据

  • rysncd服务工作原理：rysncd服务通过Xinetd管理，使用rsyncd服务来同步是先通过xinetd监听873号端口，如果rsync进来的是873号端口，那么xinetd就会通知它所管辖的rsync服务来做回应，接下来就是rsync俩服务于之间的通讯，如下图所示：

1.4 数据同步方式

两种数据同步方式：

  • push推方式： 一台主机负责把数据传送给其他主机，服务器开销很大，比较适合后端服务器少的情况
  • pull拉方式： 所有主机定时去找一主机拉数据，可能就会导致数据缓慢

技术图片

  • 常用的数据同步方式：
  • 推：目的主机配置为rsync服务器，源主机周期性的使用rsync命令把要同步的目录推过去（需要备份的机器是客户端，存储备份的机器是服务端）rsync -avz 源路径 user@远端服务器IP:目的路径

[root@centos7-127 tmp]# mkdir test1 # 创建测试文件见test1
[root@centos7-127 tmp]# cp /etc/passwd ./test1/ # 复制/etc/passwd作为测试文件
[root@centos7-127 tmp]# ll ./test1/ 
总用量 4
-rw-r--r-- 1 root root 2567 9月  17 17:43 passwd
[root@centos7-127 tmp]# rsync -avz /tmp/test1 root@192.168.87.128:/tmp/ # 将127上的/tmp/test1推到128的/tmp目录下
root@192.168.87.128's password:  # 输入远端服务器root密码
sending incremental file list
test1/
test1/passwd

sent 1,127 bytes  received 39 bytes  155.47 bytes/sec
total size is 2,567  speedup is 2.20        # 传输完成
[root@centos7-128 tmp]# ll ./test1 # 在128上查看发现数据推送成功
总用量 4
-rw-r--r-- 1 root root 2567 9月  17 17:43 passwd
  • 拉：源主机配置为rsync服务器，目的主机周期性的使用rsync命令把要同步的目录拉过来（需要备份的机器是服务端，存储备份的机器是客户端）rsync -avz user@远端服务器IP:源路径 目的路径

[root@centos7-127 tmp]# rsync -avz root@192.168.87.128:/tmp/test/ /tmp/test # 从128拉取数据
root@192.168.87.128's password: 
receiving incremental file list
./
1.txt
2.txt
3.txt
4.txt
5.txt
6.txt
7.txt
8.txt
9.txt
a.txt
b.txt
c.txt
d.txt
e.txt
f.txt

sent 312 bytes  received 834 bytes  152.80 bytes/sec # 数据传输完成
total size is 0  speedup is 0.00

[root@centos7-127 tmp]# ll ./test # 查看发现数据拉取成功
总用量 0
-rw-r--r-- 1 root root 0 9月  16 10:38 1.txt
-rw-r--r-- 1 root root 0 9月  16 10:38 2.txt
-rw-r--r-- 1 root root 0 9月  16 10:38 3.txt
-rw-r--r-- 1 root root 0 9月  16 10:38 4.txt
-rw-r--r-- 1 root root 0 9月  16 10:38 5.txt
-rw-r--r-- 1 root root 0 9月  16 10:38 6.txt
-rw-r--r-- 1 root root 0 9月  16 10:38 7.txt
-rw-r--r-- 1 root root 0 9月  16 10:38 8.txt
-rw-r--r-- 1 root root 0 9月  16 10:38 9.txt
-rw-r--r-- 1 root root 0 9月  16 10:26 a.txt
-rw-r--r-- 1 root root 0 9月  16 10:26 b.txt
-rw-r--r-- 1 root root 0 9月  16 10:26 c.txt
-rw-r--r-- 1 root root 0 9月  16 10:26 d.txt
-rw-r--r-- 1 root root 0 9月  16 10:26 e.txt
-rw-r--r-- 1 root root 0 9月  16 10:26 f.txt

2 Rsync实验测试

2.1 实验环境说明

|:-:|:-:|:-:|:-:|
| | IP | 服务安装 | 说明 |
| 1 | 192.168.87.127 | Rsync服务 | 服务端（数据需要备份） |
| 2 | 192.168.87.128 | 安装Xinetd、Rsync服务 |客户端（用于备份数据） |

2.2 服务安装

Rsync服务依赖Xinetd，是使用超级服务来管理的

技术图片

需要在目标机器上安装rsync服务端（备注：centos7一般不是最小安装都已经默认安装了rsync服务）


[root@centos7-128 tmp]# yum -y install xinetd rsync # 在128上面安装Xinetd服务和Rsync服务
[root@centos7-128 tmp]# rsync --daemon # 启动rsync服务
[root@centos7-128 tmp]# netstat -anutp|grep 873 # 查看rsync端口873，确认rsync服务是否启动
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      41260/rsync         
tcp6       0      0 :::873                  :::*                    LISTEN      41260/rsync 
[root@centos7-127 tmp]# yum -y install rsync # 在127上面安装Rsync服务

2.3 Rsync命令详解

rsync命令参数说明：

参数 说明
-a --archive archive mode 权限保存模式,相当于 -rlptgoD 参数，存档，递归，保持属性等
-r --recursive 复制所有下面的资料，递归处理
-p --perms 保留档案权限 ，文件原有属性
-t --times 保留时间点，文件原有时间
-g --group 保留原有属组
-o --owner 保留档案所有者(root only)
-D --devices 保留device资讯(root only)
-l --links 复制所有的连接 ，拷贝连接文件
-z --compress 压缩模式, 当资料在传送到目的端进行档案压缩
-H --hard-links 保留硬链接文件
-A --acls 保留ACL属性文件，需要配合--perms
-P -P参数和 --partial --progress 相同.只是为了把参数简单化,表示传进度
--version 输出rsync版本
-v --verbose 复杂的输出信息
-u --update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件
--port=PORT 定义rsyncd(daemon)要运行的port(预设为tcp 873)
--delete 删除那些目标位置有的文件而备份源没有的文件
--password-file=FILE 从 FILE 中得到密码
--bwlimit=KBPS 限制 I/O 带宽
--filter “-filename” 需要过滤的文件
--exclude=filname 需要过滤的文件
--progress 显示备份过程

说明： 常用参数-avz

2.3 实验一使用rsync命令备份数据

将源服务器127上面的/var/www/html目录备份到目标服务器128上的/web-back目录中

  • 建立测试目录

[root@centos7-127 tmp]# mkdir -p /var/www/html # 创建测试目录
[root@centos7-127 var]# cp -R /boot/* /var/www/html/ # 将/boot/下的所有文件复制到测试目录，做欸测试文件使用
[root@centos7-127 var]# ll /var/www/html/
总用量 187816
-rw-r--r-- 1 root root   151923 9月  17 19:54 config-3.10.0-957.21.3.el7.x86_64
-rw-r--r-- 1 root root   151918 9月  17 19:54 config-3.10.0-957.el7.x86_64
drwx------ 3 root root       17 9月  17 19:54 efi
drwxr-xr-x 2 root root       27 9月  17 19:54 grub
drwx------ 5 root root       97 9月  17 19:54 grub2
-rw------- 1 root root 74017022 9月  17 19:54 initramfs-0-rescue-1d6dc8e931344828b171ea7fe67c3aa2.img
-rw------- 1 root root 31563403 9月  17 19:54 initramfs-3.10.0-957.21.3.el7.x86_64.img
-rw------- 1 root root 13599461 9月  17 19:54 initramfs-3.10.0-957.21.3.el7.x86_64kdump.img
-rw------- 1 root root 31562369 9月  17 19:54 initramfs-3.10.0-957.el7.x86_64.img
-rw------- 1 root root 13600009 9月  17 19:54 initramfs-3.10.0-957.el7.x86_64kdump.img
-rw-r--r-- 1 root root   314128 9月  17 19:54 symvers-3.10.0-957.21.3.el7.x86_64.gz
-rw-r--r-- 1 root root   314036 9月  17 19:54 symvers-3.10.0-957.el7.x86_64.gz
-rw------- 1 root root  3545891 9月  17 19:54 System.map-3.10.0-957.21.3.el7.x86_64
-rw------- 1 root root  3543471 9月  17 19:54 System.map-3.10.0-957.el7.x86_64
-rwxr-xr-x 1 root root  6639904 9月  17 19:54 vmlinuz-0-rescue-1d6dc8e931344828b171ea7fe67c3aa2
-rwxr-xr-x 1 root root  6643904 9月  17 19:54 vmlinuz-3.10.0-957.21.3.el7.x86_64
-rwxr-xr-x 1 root root  6639904 9月  17 19:54 vmlinuz-3.10.0-957.el7.x86_64

[root@centos7-128 tmp]# mkdir /web-back # 在目标服务器创建测试备份目录
  • 建立测试用户

[root@centos7-127 tmp]# useradd rget && echo rget:123456|chpasswd # 在源服务器127上面新建rget测试用户
[root@centos7-127 tmp]# id rget
uid=1001(rget) gid=1001(rget) 组=1001(rget)
[root@centos7-128 tmp]# useradd rget && echo rget:123456|chpasswd # 在目标服务器128上面新建rget测试用户
[root@centos7-128 tmp]# id rget
uid=1001(rget) gid=1001(rget) 组=1001(rget)
  • 对目录赋予ACL权限

[root@centos7-127 var]# setfacl -R -m user:rget:rwx /var/www/html/ 
# 在源服务器上面设置rget权限，-R参数是递归将目录以及在目录和文件权限均进行设置
[root@centos7-127 var]# setfacl -R -m default:rget:rwx /var/www/html/ 
[root@centos7-127 var]# getfacl /var/www/html
getfacl: Removing leading '/' from absolute path names
# file: var/www/html
# owner: root
# group: root
user::rwx
user:rget:rwx
group::r-x
mask::rwx
other::r-x
default:user::rwx
default:user:rget:rwx
default:group::r-x
default:mask::rwx
default:other::r-x


[root@centos7-128 tmp]# chown -R rget:rget /web-back/
#在目标服务器上修改rget对备份目录的权限
[root@centos7-128 tmp]# getfacl /web-back/
getfacl: Removing leading '/' from absolute path names
# file: web-back/
# owner: rget
# group: rget
user::rwx
group::r-x
other::r-x
  • 使用rsync命令备份数据

[root@centos7-127 var]# rsync -avz --delete /var/www/html/ rget@192.168.87.128:/web-back/
rget@192.168.87.128's password: 
sending incremental file list
./
System.map-3.10.0-957.21.3.el7.x86_64
System.map-3.10.0-957.el7.x86_64
config-3.10.0-957.21.3.el7.x86_64
config-3.10.0-957.el7.x86_64
initramfs-0-rescue-1d6dc8e931344828b171ea7fe67c3aa2.img
initramfs-3.10.0-957.21.3.el7.x86_64.img
initramfs-3.10.0-957.21.3.el7.x86_64kdump.img
initramfs-3.10.0-957.el7.x86_64.img
initramfs-3.10.0-957.el7.x86_64kdump.img
symvers-3.10.0-957.21.3.el7.x86_64.gz
symvers-3.10.0-957.el7.x86_64.gz
.efi
efi/EFI/centos/
...
...
grub2/locale/tr.mo
grub2/locale/uk.mo
grub2/locale/vi.mo
grub2/locale/zh_CN.mo
grub2/locale/zh_TW.mo

sent 190,101,501 bytes  received 6,410 bytes  14,082,067.48 bytes/sec
total size is 207,914,035  speedup is 1.09

2.4 实验二使用rsyncd服务进行数据备份

使用rsyncd服务进行数据备份时，需要使用系统配置文件/etc/rsyncd.conf文件，创建备份账户，最后把rsync以deamon方式运行

  • rsyncd.conf配置文件说明

centos7一般默认都有/etc/rsyncd.conf文件，centos6下需要自己创建

配置文件分为两部分：全局参数，模块参数

全局参数：对rsync服务器生效，如果模块参数和全局参数冲突，冲突的地方模块参数生效
模块参数：定义需要通过rsync输出的目录定义的参数

常见的全局参数：

参数 说明
port 指定后台程序使用的端口号，默认为873。
uid 该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是" nobody"。
gid 该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。
max connections 指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。
lock file 指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock。
motd file " motd file"参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的。
log file " log file"指定rsync的日志文件，而不将日志发送给syslog。
pid file 指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”，存放进程ID的文件位置。
hosts allow 单个IP地址或网络地址 //允许访问的客户机地址

常见的模块参数：主要是定义服务器哪个要被同步输出，其格式必须为“ [ 共享模块名 ]” 形式，这个名字就是在 rsync 客户端看到的名字，其实很像 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。

参数 说明
Comment 给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。
Path 指定该模块的供备份的目录树路径，该参数是必须指定的。
read only yes为只允许下载，no为可以下载和上传文件到服务器
exclude 用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传(既不可访问)
exclude from 指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义，每个文件或目录需要占用一行
include 用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。
include from 指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。
auth users 该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users"被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。
secrets file 该选项指定一个包含定义用户名:密码对的文件。只有在" auth users"被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器。
hosts allow 指定哪些IP的客户允许连接该模块。定义可以是以下形式：
单个IP地址，例如：192.167.0.1，多个IP或网段需要用空格隔开，
整个网段，例如：192.168.0.0/24，也可以是192.168.0.0/255.255.255.0
“*”则表示所有，默认是允许所有主机连接。
hosts deny 指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。
list 该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true。
timeout 通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。
  • 配置rsyncd.conf文件

在目标服务器128上配置rsyncd.conf文件


[root@centos7-128 ~]# vi /etc/rsyncd.conf

# /etc/rsyncd: configuration file for rsync daemon mode

# See rsyncd.conf man page for more options.

# configuration example:

uid = root # 运行进程的用户
gid = root # 运行进程的组 
address = 192.168.87.128  # 监听ip
port = 873 # 监听端口
hosts allow = 192.168.87.0/24 
# 允许同步客户端的IP地址，可以是网段，或者用*表示所有 192.168.1.0/24或192.168.1.0/255.255.255.0，多个网段用空格隔开
use chroot = yes
#  #是否囚牢，锁定家目录，rsync被黑之后，黑客无法再rsync运行的家目录之外创建文件，选项设置为yes
max connections = 5 # 最大连接数
pid file = /var/run/rsyncd.pid # 进程id，自动生成
lock file = /var/run/rsync.lock # 指定max connetctions参数的锁文件
log file = /var/log/rsync.log # 日志文件
motd file = /etc/rsyncd.motd # 客户端登陆后所显示提示信息的保存文件
# exclude = lost+found/ 
# transfer logging = yes
timeout = 100 # 等待超时时间
# ignore nonreadable = yes
# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

# [ftp]
#        path = /home/ftp
#        comment = ftp export area

[wwwroot] # 共享（同步）模块名称

path = /web-back/ # 路径
comment = used for web-data backup # 描述说明
read only = false # 设置文件读写权限，false为可读写，ture为只读
list = yes # 是否容许查看模块信息
auth users = rsyncuser # 备份使用的用户名，和系统用户无关
secrets file = /etc/rsync.passwd # 存放备份用户信息的文件，格式为： 用户名：密码
  • 创建提示文件和用户密码

在目标服务器128上，创建提示文件和用户密码文件


[root@centos7-128 ~]# echo "Welcome to Rsyncd Backup Server" >> /etc/rsyncd.motd # 编辑motd文件
[root@centos7-128 ~]# vim /etc/rsync.passwd # 编辑备份用户信息文件

rsyncuser:password123
[root@centos7-128 ~]# chmod 600 /etc/rsync.passwd
# 目录权限必须是700或者600，否则的话身份验证会失效.
  • 启动服务测试

在目标服务器128上，启动xinetd和rsyncd服务


[root@centos7-128 ~]# systemctl start xinetd # 启动xinetd服务
[root@centos7-128 ~]# systemctl enable xinetd # 容许xinetd服务开机启动
[root@centos7-128 ~]# rsync --daemon --config=/etc/rsyncd.conf
[root@centos7-128 ~]# netstat -nlntp|grep 873
tcp        0      0 192.168.87.128:873      0.0.0.0:*               LISTEN      11597/rsync
[root@centos7-128 ~]# rm -rf /web-back/* # 删除/web-back/下的原有文件，准备测试

在源服务器127上启动测试，向128推送数据

语法：

pull拉数据: rsync 选项 用户名@备份源服务器IP::共享模块名 目标目录

push推数据： rsync 选项 源目录 用户名@备份源服务器IP::共享模块名


[root@centos7-127 ~]# rsync -avz --delete /var/www/html rsyncuser@192.168.87.128::wwwroot
Welcome to Rsyncd Backup Server

Password:       # 手动输入rsync数据传输用户rsyncuser的密码
sending incremental file list
html/
html/System.map-3.10.0-957.21.3.el7.x86_64
html/System.map-3.10.0-957.el7.x86_64
html/config-3.10.0-957.21.3.el7.x86_64
html/config-3.10.0-957.el7.x86_64
html/initramfs-0-rescue-1d6dc8e931344828b171ea7fe67c3aa2.img
html/initramfs-3.10.0-957.21.3.el7.x86_64.img
html/initramfs-3.10.0-957.21.3.el7.x86_64kdump.img
...
...
html/grub2/locale/uk.mo
html/grub2/locale/vi.mo
html/grub2/locale/zh_CN.mo
html/grub2/locale/zh_TW.mo

sent 190,101,514 bytes  received 6,419 bytes  5,849,474.86 bytes/sec
total size is 207,914,035  speedup is 1.09  # 传输成功完成，测试成功
  • 自动密码处理

在使用rsync传输数据时，需要输入传输用户的密码，其实可以通过新建一个文件保存好密码，然后在rsync命令中使用--password-file指定此文件即可完成密码的自动输入。如下：


[root@centos7-127 ~]# vim /etc/rsync.passwd # 在源服务器配置存放密码的文件rsync.passwd，这里文件名可以自己定义

password123
[root@centos7-127 ~]# chmod 600 /etc/rsync.passwd # 修改密码文件的权限
[root@centos7-127 ~]# rsync -avz --delete --password-file=/etc/rsync.passwd /var/www/html rsyncuser@192.168.87.128::wwwroot 
# 加入--password--file参数，指定密码文件，完成自动输入密码测试
Welcome to Rsyncd Backup Server

sending incremental file list
html/
html/System.map-3.10.0-957.21.3.el7.x86_64
html/System.map-3.10.0-957.el7.x86_64
html/config-3.10.0-957.21.3.el7.x86_64
html/config-3.10.0-957.el7.x86_64
html/symvers-3.10.0-957.21.3.el7.x86_64.gz
html/symvers-3.10.0-957.el7.x86_64.gz
html/vmlinuz-0-rescue-1d6dc8e931344828b171ea7fe67c3aa2
html/vmlinuz-3.10.0-957.21.3.el7.x86_64
html/vmlinuz-3.10.0-957.el7.x86_64
html/efi/
...
...
html/grub2/locale/pl.mo
html/grub2/locale/pt_BR.mo
html/grub2/locale/ru.mo
html/grub2/locale/sl.mo
html/grub2/locale/sv.mo
html/grub2/locale/tr.mo
html/grub2/locale/uk.mo
html/grub2/locale/vi.mo
html/grub2/locale/zh_CN.mo
html/grub2/locale/zh_TW.mo

sent 26,786,735 bytes  received 6,324 bytes  10,717,223.60 bytes/sec
total size is 43,571,771  speedup is 1.63 # 传输完成，测试成功
  • 使用shell脚本实现自动备份

[root@centos7-127 ~]# vim autobackup.sh 

#!/bin/bash

SOURDIR="/var/www/html" # 设置源服务器路径
BACKUPUSER="rsyncuser" # 设置备份用户
DESTADDR="192.168.87.128" # 设置远程服务器
OBJECT="wwwroot" # 设置备份项目名称
SECUREFILE="/opt/passfile" #

rsync -avz --delete $SOURDIR $BACKUPUSER@$DESTADDR::$OBJECT --password-file=$SECUREFILE

[root@centos7-127 ~]# chmod +x autobackup.sh 给shell脚本可执行权限
[root@centos7-127 ~]# vim /opt/passfile

password123
[root@centos7-127 ~]# chmod 600 /opt/passfile #修改密码文件权限
[root@centos7-127 ~]# echo "1 3 * * * sh /root/autobackup.sh &" >> /var/spool/cron/root 
# 设置每天的3点过1分自动执行备份脚本

3、Rsync+sersync实现数据实时同步

3.1 rsync+sersync架构作用

  • sersync是基于inotify开发的，类似于inotify-tools的工具
  • sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录

3.2 rsync+inotify-tools与rsync+sersync架构的区别

  • rsync+inotify-tools
  • inotify只能记录下被监听的目录发生了变化（增，删，改）并没有把具体是哪个文件或者哪个目录发生了变化记录下来；
  • rsync在同步的时候，并不知道具体是哪个文件或目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此效率很低
  • rsync+sersync
  • sersync可以记录被监听目录中发生变化的（增，删，改）具体某个文件或目录的名字；
  • rsync在同步时，只同步发生变化的文件或目录（每次发生变化的数据相对整个同步目录数据来说很小，rsync在遍历查找对比文件时，速度很快），因此效率很高。

3.3 同步过程和原理

  • 原理
  • 在同步服务器上开启sersync服务，sersync负责监控配置路径中的文件系统事件变化；
  • 调用rsync命令把更新的文件同步到目标服务器；
  • 需要在主服务器配置sersync，在同步目标服务器配置rsync server（注意：是rsync服务）
  • 同步过程
  • 用户实时的往sersync服务器上写入更新文件数据；
  • 此时需要在同步主服务器上配置sersync服务；
  • 在另一台服务器开启rsync守护进程服务，以同步拉取来自sersync服务器上的数据；

3.4 实验模拟实现rsync+sersync架构

3.4.1 环境说明

IP 系统 说明
192.168.87.127 centos7 Sersync服务器（数据源机器）
192.168.87.128 centos7 Rsync服务器（备份端，目标机器）

3.4.2 部署程序

1、下载sersync

在google code下载sersync的可执行文件版本，里面有配置文件与可执行文件
wget https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz（有时下载失败，所有要本地留存才行）

附sersync度娘下载地址：链接：https://pan.baidu.com/s/1nB_QCbWi-g_ISeqYYWZLUA 提取码：jks8

上传到服务器 /opt 目录下


[root@centos7-127 ~]# mv ./sersync2.5.4_64bit_binary_stable_final.tar.gz /opt 
# 上传sersync安装包到/opt
[root@centos7-127 ~]# cd /opt
[root@centos7-127 opt]# tar -xzvf sersync2.5.4_64bit_binary_stable_final.tar.gz # 解压安装包
GNU-Linux-x86/
GNU-Linux-x86/sersync2
GNU-Linux-x86/confxml.xml
[root@centos7-127 opt]# mv GNU-Linux-x86 sersync # 改名为sersync

2、配置sersync


[root@centos7-127 sersync]# cp confxml.xml confxml.xml.bak # 备份配置文件
[root@centos7-127 sersync]# vim confxml.xml #修改sersync配置文件

...
 23     <sersync>
 24         <localpath watch="/var/www/html"> 
    # 配置监听目录localpath wahch为需要备份的目录
 25             <remote ip="192.168.87.128" name="wwwroot"/> 
    # 配置remote ip为远端服务器地址，name为备份项目名称
 26             <!--<remote ip="192.168.8.39" name="tongbu"/>--> 
 27             <!--<remote ip="192.168.8.40" name="tongbu"/>-->
 28         </localpath>
 29         <rsync>
 30             <commonParams params="-artuz"/>
 31             <auth start="ture" users="rsyncuser" passwordfile="/etc/rsync.passwd"/>
    # 配置auth start为ture（开启），users为备份数据用户，passwordfile为密码文件
 32             <userDefinedPort start="false" port="874"/><!-- port=874 -->
 33             <timeout start="start" time="100"/><!-- timeout=100 -->
    # 配置timeout start为ture（超时断开是否启动）time为超时断开时间按需求配置
 34             <ssh start="false"/>
...

3、开启sersync守护进程同步数据


[root@centos7-127 ~]# /opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml

4、测试
在127 /var/www/html/ 目录 增删改目录文件,
看128 /web-back 目录的变化


[root@centos7-128 html]# watch ls -l

5、设置sersync监控开机自动执行

vi /etc/rc.d/rc.local  # 编辑，在最后添加一行
/opt/sersync/sersync2 -d -r -o  /opt/sersync/confxml.xml  ＃设置开机自动运行脚本

vi  /opt/check_sersync.sh  # 编辑，添加以下代码
#!/bin/sh
sersync="/opt/sersync/sersync2"
confxml="/opt/sersync/confxml.xml"
status=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)
if [ $status -eq 0 ];
then
$sersync -d -r -o $confxml &
else
exit 0;
fi

chmod +x /opt/check_sersync.sh # 添加脚本执行权限

把这个脚本加到任务计划,定期执行检测

补充： 多实例情况
1、配置多个confxml.xml文件（比如：www、bbs、blog....等等）
2、根据不同的需求同步对应的实例文件
/usr/local/sersync/sersync2 -d -o /usr/local/sersync/www_confxml.xml
/usr/local/sersync/sersync2 -d -o /usr/local/sersync/bbs_confxml.xml

END
2019-9-18 23:15:16

centos7服务搭建常用服务配置之二：Rsync+sersync实现数据实时同步

标签：失效   资讯   算法   img   超级   实验环境   pull   备份目录   tool   

原文地址：https://www.cnblogs.com/yj411511/p/11546297.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！