标签：rsync 实时同步 rsync+sersync实时同步 sersync
Rsync+Sersync实时同步
一、基本介绍
1.什么是Rsync？
Rsync（Remote Synchronize）是一款开源的、快速的、多功能的、可以实现全量及增量的本地或远程数据同步备份的优秀工具，并且支持多种操作系统平台运行。
官网文档：https://rsync.samba.org/ftp/rsync/rsync.html
2.Rsync简介
Rsync具有本地与远程两台主机之间的数据快速复制同步镜像、远程备份等功能，该功能类似scp，但是优于scp功能，还具有本地不同分区目录之间全量及增量复制数据。
Rsync同步数据镜像时，通过“quick check”算法，仅同步大小或最后修改时间发生变化的文件或目录，当然也可以根据权限，属主等属性变化的同步，所以可以实现快速同步。
rsync 具有如下的基本特性：
可以镜像保存整个目录树和文件系统
可以很容易做到保持原来文件的权限、时间、软硬链接等
无须特殊权限即可安装
优化的流程，文件传输效率高
可以使用 rsh、ssh 方式来传输文件，当然也可以通过直接的 socket 连接
支持匿名传输，以方便进行网站镜象
3.Rsync命令格式
本地: rsync [OPTION...] SRC... [DEST] 通过shell远程访问: 拉取: rsync [OPTION...] [USER@]HOST:SRC... [DEST] 推送: rsync [OPTION...] SRC... [USER@]HOST:DEST 通过rsync守护进程访问: 拉取: rsync [OPTION...] [USER@]HOST::SRC... [DEST] rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST] 推送: rsync [OPTION...] SRC... [USER@]HOST::DEST rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
4.什么Sersync？
sersync是基于inotify开发的，类似于inotify-tools的工具，Sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录，因此效率更高。
主要应用场景为数据体积大，并且文件很多。
网站：https://code.google.com（需要翻墙）
5.架构关系
| IP | 系统 | 服务 |
| 192.168.0.103 | CentOS 6.8 x86_64 | Rsync client + Sersync server |
| 192.168.0.132 | CentOS 6.8 x86_64 | Rsync server |
6.架构图
二、Rsync编译安装
说明：当然你也可以使用“yum -y install rsync”命令进行安装，直接进入Rsync server 配置环节。
1.检查本机是否存在
[root@kry132 ~]# rpm -qa rsync
rsync-3.0.6-12.el6.x86_64
2.卸载
[root@kry132 ~]# yum remove rsync
说明：需要安装最新的版本就需要卸载老版本。
3、下载rsync软件
[root@kry132 ~]# cd /usr/local/src/
[root@kry132 src]# wget https://download.samba.org/pub/rsync/rsync-3.1.2.tar.gz
4.解压包
[root@kry132 src]# tar zxvf rsync-3.1.2.tar.gz
5.创建程序安装目录，并编译安装
[root@kry132 src]# cd rsync-3.1.2
[root@kry132 rsync-3.1.2]# mkdir /usr/local/rsync
[root@kry132 rsync-3.1.2]# ./configure --prefix=/usr/local/rsync
[root@kry132 rsync-3.1.2]# make && make install
6.配置环境变量
[root@kry132 ~]# vim /etc/profile.d/rsync.sh
| #!/bin/sh export PATH=$PATH:/usr/local/srync/bin |
7.建立软连接
[root@kry132 ~]# ln -s /usr/local/rsync/bin/rsync /usr/bin/rsync
8.查看当前版本
[root@kry132 ~]# rsync --version
rsync version 3.1.2 protocol version 31
三、Rsync server配置
1.编辑配置文件
[root@kry132 ~]# vim /etc/ rsyncd.conf
| uid = rsync gid = rsync port = 873 use chroot = on max connections = 200 timeout = 120 pid file = /var/run/rsyncd.pid lock file = /var/run/rsyncd.lock log file = /var/log/rsyncd.log [bakup] path = /data/bakup read only = false list = false hosts allow = 192.168.0.0/24 hosts deny = 0.0.0.0/32 auth users = rsync_bakup secrets file = /etc/rsyncd.password |
2.创建密码文件
[root@kry132 ~]# vim /etc/rsyncd.password
| rsync_bakup:4297f44b13955235245b2497399d7a93 |
说明：定义格式 用户:密码
3.修改密码文件权限
[root@kry132 ~]# chmod 600 /etc/rsyncd.password
4.创建Rsync server服务启动的系统账户
[root@kry132 ~]# useradd rsync -M -s /bin/nologin
5.创建数据存放目录
[root@kry132 ~]# mkdir -p /data/bakup
6.修改目录权限
[root@kry132 ~]# chown rsync.rsync /data/bakup
7.启动服务
[root@kry132 ~]# rsync --daemon
说明：如果配置文件路径不是/etc/rsyncd.conf，启动是需要使用“–config” 参数指定配置文件。
8.查看服务是否启动
[root@kry132 ~]# ps axu |grep rsync
root 9198 0.0 0.0 107652 672 ? Ss 19:41 0:00 rsync --daemon --config /etc/rsync/rsyncd.conf
root 9205 0.0 0.0 103308 848 pts/0 S+ 19:44 0:00 grep rsync
[root@kry132 ~]# netstat -nlp |grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 9198/rsync
tcp 0 0 :::873 :::* LISTEN 9198/rsync
四、客户端配置
1.创建密码文件
[root@Kry103 ~]# vim /etc/rsyncd.password
| 4297f44b13955235245b2497399d7a93 |
2.修改文件权限
[root@Kry103 ~]# chmod 600 /etc/rsyncd.password
3.安装客户端
[root@Kry103 ~]# yum -y install rsync
说明：如果客户端存在，跳过该步骤。
五、测试
1.客户端上推送数据
[root@Kry103 ~]# ll test.txt
-rw-r--r--. 1 kry kry 13 Mar 24 15:55 test.txt
[root@Kry103 ~]# rsync -avzP test.txt rsync_bakup@192.168.0.132::bakup --password-file=/etc/rsyncd.password
sending incremental file list
test.txt
11 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)
sent 91 bytes received 27 bytes 236.00 bytes/sec
total size is 11 speedup is 0.09
2.服务端查看文件是否推送成功
[root@kry132 bakup]# ll
total 4
-rw-r--r--. 1 rsync rsync 13 Mar 24 15:55 test.txt
3.从服务端拉取数据
[root@Kry103 ~]# ll /tmp/
total 0
[root@Kry103 ~]# rsync -avzP rsync_bakup@192.168.0.132::bakup /tmp --password-file=/etc/rsyncd.password
receiving incremental file list
./
test.txt
13 100% 12.70kB/s 0:00:00 (xfer#1, to-check=7/17)
sent 64 bytes received 419 bytes 966.00 bytes/sec
total size is 13981 speedup is 28.95
4.查看拉取的文件
[root@Kry103 ~]# ll /tmp/
total 4
-rw-r--r--. 1 kry kry 13 Mar 24 15:55 test.txt
说明：文件的属主组跟推送时保持一直。
六、安装配置sersync
1.下载地址
[root@Kry103 ~]# cd /usr/local/src/
[root@Kry103 src]# wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz
2.解压软件包
[root@Kry103 src]# tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz
3.创建目录结构
[root@Kry103 src]# mkdir /usr/local/sersync
[root@Kry103 src]# mkdir /usr/local/sersync/conf
[root@Kry103 src]# mkdir /usr/local/sersync/logs
[root@Kry103 src]# mkdir /usr/local/sersync/bin
4.移动文件
[root@Kry103 src]# mv GNU-Linux-x86/sersync2 /usr/local/sersync/bin/
[root@Kry103 src]# mv GNU-Linux-x86/confxml.xml /usr/local/sersync/conf
5.配置环境变量
[root@Kry103 conf]# vim /etc/profile.d/sersync.sh
[root@Kry103 conf]# source /etc/profile.d/sersync.sh
6.配置
[root@Kry103 src]# cd /usr/local/sersync/conf
[root@Kry103 conf]# cp confxml.xml confxml.xml.bak
[root@Kry103 conf]# vim confxml.xml
| <?xml version="1.0" encoding="ISO-8859-1"?> <head version="2.5"> # 设置本地IP和端口 <host hostip="localhost" port="8008"></host> # 开启DUBUG模式 <debug start="false"/> # 开启xfs文件系统 <fileSystem xfs="false"/> # 同步时忽略推送的文件(正则表达式),默认关闭 <filter start="false"> <exclude expression="(.*)\.svn"></exclude> <exclude expression="(.*)\.gz"></exclude> <exclude expression="^info/*"></exclude> <exclude expression="^static/*"></exclude> </filter> # 设置要监控的事件 <inotify> <delete start="false"/> <createFolder start="true"/> <createFile start="false"/> <closeWrite start="true"/> <moveFrom start="true"/> <moveTo start="true"/> <attrib start="false"/> <modify start="false"/> </inotify> <sersync> # 本地监视目录路径 <localpath watch=" /data/bakup/"> #定义同步Server ip和模块 <remote ip="192.168.0.132" name="bakup"/> <!--<remote ip="192.168.8.39" name="tongbu"/>--> <!--<remote ip="192.168.8.40" name="tongbu"/>--> </localpath> <rsync> # rsync指令参数 <commonParams params="-artuz"/> # rsync同步认证 <auth start="true" users="rsync_bakup" passwordfile="/etc/rsyncd.password"/> # 设置rsync远程服务端口，非默认端口需要打开自定义(若开启rsync+ssh, 则这里需定义SSH端口) <userDefinedPort start="false" port="874"/><!-- port=874 --> # 设置超时时间 <timeout start="ture" time="100"/><!-- timeout=100 --> # 设置rsync+ssh加密传输模式,默认关闭，开启需设置SSH加密证书 <ssh start="false"/> </rsync> # sersync传输失败日志脚本路径，每隔60会重新执行该脚本，执行完毕会自动清空。 <failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once--> # 设置rsync定时传输，默认关闭 <crontab start="false" schedule="600"><!--600mins--> <crontabfilter start="false"> <exclude expression="*.php"></exclude> <exclude expression="info/*"></exclude> </crontabfilter> </crontab> # 设置sersync传输后调用name指定的插件脚本，默认关闭 <plugin start="false" name="command"/> </sersync> # 插件脚本范例 <plugin name="command"> <param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix--> <filter start="false"> <include expression="(.*)\.php"/> <include expression="(.*)\.sh"/> </filter> </plugin> # 插件脚本范例 <plugin name="socket"> <localpath watch="/opt/tongbu"> <deshost ip="192.168.138.20" port="8009"/> </localpath> </plugin> <plugin name="refreshCDN"> <localpath watch="/data0/htdocs/cms.xoyo.com/site/"> <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/> <sendurl base="http://pic.xoyo.com/cms"/> <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/> </localpath> </plugin> </head> |
7.启动
[root@Kry103 conf]# sersync2 -d -r -o /usr/local/sersync/conf/confxml.xml
说明：还有些其他参数，使用“-h”选项查看。
七、测试
1.创建
[root@Kry103 ~]# cd /data/bakup/
[root@Kry103 bakup]# for f in `seq 10`;do touch $f;done
2.检查数据是否同步Rsync server
[root@kry132 ~]# ll /data/bakup/
total 0
-rw-------. 1 rsync rsync 0 Mar 29 17:04 1
-rw-------. 1 rsync rsync 0 Mar 29 17:04 10
-rw-------. 1 rsync rsync 0 Mar 29 17:04 2
-rw-------. 1 rsync rsync 0 Mar 29 17:04 3
-rw-------. 1 rsync rsync 0 Mar 29 17:04 4
-rw-------. 1 rsync rsync 0 Mar 29 17:04 5
-rw-------. 1 rsync rsync 0 Mar 29 17:04 6
-rw-------. 1 rsync rsync 0 Mar 29 17:04 7
-rw-------. 1 rsync rsync 0 Mar 29 17:04 8
-rw-------. 1 rsync rsync 0 Mar 29 17:04 9
数据镜像实时同步成功,完章。有什么不对的地方还希望在评论中指出。感谢各位的阅读。
本文出自 “Scorpions丶毒” 博客，请务必保留此出处http://scorpions.blog.51cto.com/7138036/1911764
标签：rsync 实时同步 rsync+sersync实时同步 sersync
原文地址：http://scorpions.blog.51cto.com/7138036/1911764
