Centos RSync+Shell实现数据定时同步

标签：centos rsync+shell实现数据定时同步

Centos RSync+Shell实现数据定时同步

我们前面介绍了几篇关于Centos相关服务安装及配置，今天我们主要介绍如何实现本地与远程计算机的数据目录同步，在我之前bolg中有一篇通过shell实现本地与远程计算机的数据同步的文章，通过shell同步实现指定目录的复制及覆盖操作不是那么的方便，因为复制目录及覆盖目录只会增量，不会减量，比如：原来的本地有一个目录下的abc.txt被同步到了远程计算机的指定目录后，当本地目录下的abc.txt文件删除后，远程计算机同步目录下的abc.txt依然存在，所以这样导致数据信息不准确，今天了我们为了解决这样的问题，我们准备使用rsync+shell脚本进行定期数据同步。说到Rsync相信大家已经很熟悉了，但是很多文章中都介绍了，配置了Rsync server和rsync client的数据自动同步，这样结果当然好，但是对于服务配置上稍稍有点复杂，对于一个初学者来说还是有点难度，所以我们今天不准备配置rsync server 和rsync client实现自动同步，而是使用rsync client 和shell脚本定时同步数据，对于rsync server 和rsync client结合实现数据的双向同步我们下一篇文章中介绍；我们最最后再重申月一下Rsync 同步目录数据使用的SSH进行同步的；所以我们首先要将服务器之间的SSH服务互相通信，然后还需要注意一点是数据同步需要配置SSH-KEY，这样数据同步就无需输入密码了；

环境介绍：centos 6.4  + rsync + shell   DB1：192.168.6.28  DB2： 192.168.6.38

环境需求：我们需要将DB1服务器上的指定目录下的文件定时同步到DB2服务器上的指定目录；

我们使用的是rsync服务进行数据同步，对于rsync有很多参数，具体见下：

--help

一、安装rsync服务

首先在DB1server上安装rsync client服务；DB1 server是源服务器

yum install rsync

安装完成

我们同时在DB2server也安装rsync服务；

yum install rsync

我们服务已经安装好了；

二、配置key验证

接下来我们需要配置key验证，因为数据同步我们不能使用密码验证后再传输同步数据，所以我们需要配置key认证，这样本地服务器与远程服务器之间同步就不需要密码验证了；

其实key验证我们前面的文章中已经有写了，为了方便在此还是说说。在源服务器上我们通过ssh-keygen生成一对验证秘钥，一个公钥，一个私钥；私钥放在远程服务器上即可，私钥需要公钥验证后才可以匹配，所以相对还是比较安全的；

ssh-keygen -t rsa     回车；

因为之前服务器上使用注册的，所以就拿来直接用了；计算机名不一样；请忽略即可；

创建目录，认证目录；然后一路回车

在/root/.ssh 目录下生成了一对密钥文件
id_rsa   私钥
id_rsa.pub     公钥

ssh-copy-id ipaddress
ssh-copy-id 192.168.6.38

只在脚本执行的机器上或者源服务器上执行即可

会自动将公钥拷贝到目标服务器上；

到此我们就结束了key的配置；

如果提示以下错误的话，我们需要修改hosts

reverse mapping checking getaddrinfo for bogon failed – POSSIBLE BREAK-IN ATTEMPT! 错误，但不影响登录。

原因：ssh 登录的时候会做一系列安全检查，其中有一项是 主机名与ip地址是否能解析，如果解析不了就会报这个错误。

解决方法：在/etc/hosts 文件加上对方的 ip地址  主机名，可以ping通主机名即可。

如果你有dns服务器 ，在服务器上做解析也行。总之，ping主机名必须解析到对应的ip地址；

三、创建数据同步目录；

我们在DB1server上创建同步目录；

mkdir SourceDirectory  创建目录
cd SourceDirectory     进入目录

然后我们在SourceDirectory目录创建几个测试文件；

vim 1.txt

然后我们在DB2server上创建target目标目录；

接下来我们就是数据同步了；我们在没有TargetDirectory目录下创建任何文件，当前目录下为空；

我们使用rsync命令实现DB1--->DB2的数据同步；

执行“推”复制同步----就是将本地/root/SourceDirectory目录下的数据远程同步到192.168.6.38服务器下的/root/TargetDirectory目录下；

注：如果目录结尾不加“/”的话，意思就成将该文件夹同步到目标目录了；

synch -avz --delete /root/SourceDirectory/ root@192.168.6.38:/root/TargetDirectory/

我们在目标服务器上查看同步的数据；

当然我们也可以实现拉的操作：执行“拉”复制同步----就是将远程服务器192.168.6.38下的/root/TargetDirectory目录下的数据同步到本地/root/SourceDirectory目录下；数据远程同步到192.168.6.38服务器下的/root/TargetDirectory目录下

rsync -avz --delete root@192.168.6.38:/root/TargetDirectory/ /root/SourceDirectory/

我们先在DB2server上创建一个文件及编辑内容；

vim 2.txt 

接下来我们在DB1server上查看效果；

我们运行拉的操作命令

rsync -avz --delete root@192.168.6.38:/root/TargetDirectory/    /root/SourceDirectory/

然后我们查看执行结果；数据同步完成；

四、使用shell脚本定时同步数据；

我们在创建一个sh文件，然后添加执行命令即可

vim rsyncshell.sh
#!/bin/sh
Push_Source="/root/SourceDirectory/" 
Pull_Source="root@192.168.6.38:/root/TargetDirectory/"
Push_Target="root@192.168.6.38:/root/TargetDirectory/" 
Pull_Target="root/SourceDirectory"
#rsync -avz --delete /root/SourceDirectory/ root@192.168.6.38:/root/TargetDirectory/    ----->从本地“推”数据同步   rsync -avz --delete $Push_Source $Push_Target
#rsync -avz --delete root@192.168.6.38:/root/TargetDirectory/ /root/SourceDirectory/   ----->从远程“拉”数据同步    #rsync -avz --delete $Pull_Target $Pull_Source
echo "$(date +%Y-%m-%d_%H:%M:%S) -The Data Directoty:$Push_Source to $Push_Target had Sync Sucess" >>/var/log/DataSync.log

我们给脚本赋予执行权限，再次

chomd 700 rsyncshell.sh

我们测试一下脚本；首先我们编辑DB1Server上的数据目录

我们执行脚本

./rsyncshell.sh

我们查看DB2serve上的目录结构

对了我们在参数中添加了一个delete参数；我们来演示一下效果；

--delete参数的效果是当源目录中的文件和目标目录文件不统一时就会以源头为准，比如源目录下有1.txt\2.txt\3.txt，目标目录下有1.txt\2.txt\3.txt\4.txt，当执行同步的时候，会以源目录为准，源目录没有4.txt，所以会删除目标目录下的4.txt文件。以达到数据统一的目的；

我们现在确认测试数据；DB1serve（源）同步目录有1.txt、2.txt、3.txt

同时更新源文件1.txt的内容；

目标服务器数据；DB2server(目标)同步目录有：1.txt、2.txt、3.txt、4.txt

同时确认目标服务器的1.txt文件内容；

所以当我们执行脚本，会将内文件内容及同步目录下的数据进行以源为准进行更新

执行结果：DB2目标服务器的4.txt文件删除，1.txt文件内容以源服务器上的1.txt文件内容为准进行更新

执行脚本；结果我们已经看见了；

具体我们查看DB2server上的目录结构及文件内容

因为脚本内定义了日志记录，所以我们可以查看log

cat /var/log/DataSync.log

5，使用计划任务进行脚本运行；

我们前面已经介绍了linux中使用 crontab 进行定义计划任务

linux上计划任务的命令为crontab ，通过后面的参数即可配置；我们可以通过man crontab查看相关帮助。

-e：编辑某个用户的crontab文件内容。如果不指定用户，则表示编辑当前用户的crontab文件。

-l：显示某个用户的crontab文件内容，如果不指定用户，则表示显示当前用户的crontab文件内容。

-r：从/var/spool/cron目录中删除某个用户的crontab文件，如果不指定用户，则默认删除当前用户的crontab文件。

-i：在删除用户的crontab文件时给确认提示。

同样：crontal 的参数格式为  * * * * *   

一个 * 一小时当中的第几分钟 0-59

第二个 * 一天当中的第几个小时 0-23

第三个 * 一个月当中的第几天 1-31

第四个 * 一年当中的第几个月 1-12

第五个 * 一周当中的星期几 1-7

我们确认脚本存放路劲

/root/shell/

crondtal –e  编辑计划任务

每天晚上22:30执行一次

crontal –l 查看计划任务

因为我们脚本内添加了log记录，所以我们可以查看对应的log，查看是否执行成功

cat /var/log/DataSync.log

本文出自 “高文龙” 博客，谢绝转载！

Centos RSync+Shell实现数据定时同步

标签：centos rsync+shell实现数据定时同步

原文地址：http://gaowenlong.blog.51cto.com/451336/1841942