标签:rsync同步 serve c项目 英文 www cp命令 传输文件 ogr esc
1.1.1 什么是Rsync?安装Rsync 工具
[root@ServerRsync ~]# yum -y install rsync
查看安装包
[root@ServerRsync ~]# rpm -qa | grep rsync
启动服务
[root@ServerRsync ~]# rsync --daemon
查看Rsync服务端口
[root@ServerRsync ~]# netstat -lnt
使用工具Rsync同步
[root@ServerRsync ~]# rsync -azvP /var/ /backup
删除功能,相当于rm 命令
[root@ServerRsync ~]# rsync -avz --delete /root/allen/ /backup
(原则就是 前面有啥 后面有啥 前面是空 后面就是空)
1.2.4 保持同步目录及文件属性
这里的-avzP 相当于-vzrtopgDIP(还多了DI功能),生产环境常用的参数选项为-avzP或-vzrtopgP如果是放入脚本中,也可以把-v何-P去掉。这里的--progress可以用-P代替。
特别说明:以上参数为企业生产环境常用参数,对于初学者来说掌握上面内容已足够。
生产参数:-avz或者用-vzrtopg
1.2.5 使用rsync在本地备份传输数据
1.3 借助ssh通道在不同主机之间传输数据
示例1:推送:将当前主机内容推送到远程主机
[root@ServerRsync ~]# rsync -avz -e ‘ssh -p 22‘ /backup/ root@10.1.3.231:/tmp/
#命令说明
-e ‘ssh -p 22‘ 表示以ssh的方式通过22端口推送,如果不写默认22端口
查看同步到远端服务器的结果
[root@ServerRsync ~]# ssh root@10.1.3.231 "ls -la /tmp/"
示例2:将远程主机内容拉取到当前主机,与推送只是把远端与本地的目录位置对换
[root@ServerRsync ~]# rsync -avz -e ‘ssh -p 22‘ root@10.1.3.231:/tmp/ /backup/
关键语法说明:
1)-avz相当于-vzrtopgDI,表示同步时文件和目录属性不变。
2)-P显示同步的过程,可以用--progress替换。
3)-e ‘ssh -p 22’表示通过ssh通道传输数据,可省略br/>4)root@10.1.3.231:/tmp远程主机系统用户,地址,路径
5)/backup/本地的路径
-r,--recursive 对子目录以递 归模式,即目录下的所有目录都同样传输,注意是小写r
-t,--times 保持文件时间信息
-o,--owner 保持文件属主信息
-p,--perms 保持文件权限
-g,--group 保持文件属组信息
-P,--progress 显示同步的过程及传输时的进度等信息
-D,--devices 保持设备文件信息
-l,--links 保留软链接
-e,--rsh=COMMAND 使用的信道协议(remote shell),指定替代rsh的shell程序。例如:ssh --exclude=PATTERN 指定排除不需要传输的文件模式(和tar参数一样)
--bwlimit=RATE limit socket I/O bandwidth
--delete 让源目录SRC和目标目录数据DST一致
1.4 以守护进程(socket)的方式传输数据(重点)
1.4.1 部署前的准备工作:
1.4.2 部署环境
操作系统:
[root@ServerRsync ~]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)
内核版本:
[root@ServerRsync ~]# uname -r
3.10.0-862.el7.x86_64
[root@ServerRsync ~]# uname -ra
Linux ServerRsync 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
主机网络参数设置: |
主机名 | 网卡eth0 | 用途 | 代号 |
---|---|---|---|---|
计算机名1 | 10.1.3.229 | rsync客户端 | B-Server | |
计算机名2 | 10.1.3.231 | rsync服务端 | A-Server |
1.4.3 具体要求
要求在A-Server上以rsync守护进程的方式部署rsync服务,使得所有rsync节点客户端主机,可以把本地数据通过rsync的方式备份到数据备份服务器A-Server上。本例的客户端仅以B-Server,C-Server为例。
1.5 开始部署rsync服务--Rsync服务器端A-Server操作过程:
1.5.1 配置rsyncd.conf
首先确认软件是否安装:
[root@ServerRsync ~]# rpm -qa rsync
rsync-3.1.2-4.el7.x86_64
然后创建rsyncd.conf文件,并添加如下内容(文件默认不存在)
[root@ServerRsync ~]# cat /etc/rsyncd.conf
备份配置文件
[root@ServerRsync ~]# cp -a /etc/rsyncd.conf /etc/rsyncd.conf.bak
备份文件说明:
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid1
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
##########################################
[backup]
path = /backup/
ignore errors
read only = false
list=false
hosts allow = 192.168.197.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
修改配置文件后重启服务
启动: rsync --daemon (873端口)
1.5.2 创建共享目录及添加rsync程序用户
创建rsync用户
[root@ServerRsync ~]# useradd -M -s /sbin/nologin rsync
创建共享目录
[root@ServerRsync ~]# mkdir /backup/
指定用户目录属性
[root@ServerRsync ~]# chown - R rsync:rsyns /backup/
1.5.3 启动服务:rsync --daemon
[root@ServerRsync ~]# rsync --daemon
[root@ServerRsync ~]# netstat -antup | grep rsync
tcp 0 0 0.0.0.0:873 0.0.0.0: LISTEN 11784/rsync
tcp6 0 0 :::873 ::: LISTEN
1.5.4 将A-Server上的/backup文件夹更改属主rsync
chown -R rsync /backup
1.5.5 创建rsync虚拟账户名和密码
[root@ServerRsync ~]# echo "rsync_backup:123456" > /etc/rsync.password
[root@ServerRsync ~]# cat /etc/rsync.password
rsync_backup:123456
1.5.6 将账户密码文件的权限设置为600(必须否则失败)
[root@ServerRsync ~]# chmod 600 /etc/rsync.password
关闭防火墙
[root@ServerRsync ~]# systemctl stop firewall
[root@ServerRsync ~]# iptbales -F
[root@ServerRsync ~]# setenforce 0
1.6.5 Rsync同步测试
拉取命令
[root@ServerRsync ~]# rsync -avz rsync_backup@10.1.3.231::backup /backup
--password-file=/etc/rsync.password:免密码的操作,指定密码文件位置,如果不写,则会要求用户交互式输入密码。(如果想挂定时任务,必须得非交互式)
1.6.5.1 推送测试1:将客户端指定目录内容推送到服务器端rsync指定目录下。
测试命令:
rsync -avzP /backup/ rsync_backup@10.1.3.231::backup --password-file=/etc/rsync.password
命令说明:
-avz:保持稳健各项属性不变,-v显示同步信息 -P显示具体同步过程
/backup/:要推送的内容所在目录
rsync_backup:服务器端rsync服务的同步的用户名(非Linux用户)
10.1.3.231:rsync服务器IP地址
backup:rsync服务器配置文件里的模块名
--password-file=/etc/rsync.password:免密码的操作,指定密码文件位置,如果不写,则会要求用户交互式输入密码。(如果想挂定时任务,必须得非交互式)
命令说明:
拉取和推送相比,只是两个目录换了个位置。
1.6.5.5 拉取测试3: 将rsync服务器端指定目录下的全部内容排除某目录或文件后,同步到客户端
说明:
a,b,c,d,e为文件,10.1.3.231是目录。目录下有1,2,3,4,5文件
方法一:通过命令行实现排除
测试命令:
[root@ServerRsync ~]#rsync -avz --exclude=a --exclude=thinkmo/3 --exclude=thinkmo/4 rsync_backup@10.1.3.231::backup /backup/ --password-file=/etc/rsync.password
命令说明:
--exlude=文件名 :排除的文件
方法二:通过列表文件实现排除
创建排除列表文件
[root@ServerRsync ~]# cat /root/exclude.txt
1
3
5
a
c
g
[root@ServerRsync ~]#
测试命令:
rsync -avz --exclude-from=/root/exclude.txt rsync_backup@10.1.3.231::backup /backup/ --password-file=/etc/rsync.password
命令说明:
--exclude-from=文件的绝对路径 :引用一个排除列表,列表里只需要输入排除的文件名即可
1.6.5.6 rsync同步拉取测试:让rsync客户端指定目录内容始终和rsync服务器共享目录内容保持一致
1)和rsync服务器目录内容始终保持一致
始终保持一致的意思是说,当Rsync服务器共享目录增加文件,那么客户端指定目录也增加,服务器端共享目录删除文件,那么客户端指定目录也删除文件
测试命令:
rsync -avz --delete rsync_backup@10.1.3.231::backup /backup/ --password-file=/etc/rsync.password
命令说明:
--delete :表示同步增,删,改(文件内容出现变化,也会同步的)
命令说明:
--delete :表示同步增,删,改(文件内容出现变化,也会同步的)
与同步拉取相比:只是客户端目录放在了服务器端的前边。
命令说明:
--delete :表示同步增,删,改(文件内容出现变化,也会同步的)
【Rsync项目实战】备份全网服务器数据生产架构方案案例模型(必做)
【企业案例】:
某公司里有一台Web服务器,里面的数据很重要,但是如果硬盘坏了,数据就会丢失,现在领导要求你把数据在其他机器上做一个周期性定时备份。要求如下:
每天晚上00电整在Web服务器A上打包备份网站程序目录并通过rsync命令推送到服务器B上备份保存(备份思路可以是先在本地按日期打包,然后再利用rsync推送到备份服务器上)。
具体要求如下:
1)NFS服务器nfs01和备份服务器backup的备份目录必须都为/backup
2)NFS服务器站点目录假定为(/var/www/html)
3)NFS服务器本地仅保留7天内的备份。
4)备份服务器上检查备份结果是否正常,并将每天的备份结果发给管理员信箱。
5)备份服务器上每周六的数据都保留,其他备份仅保留180天备份。
附录1: rsyncd.conf配置文件常用参数说明:
rsyncd.conf参数 参数说明
uid=rsync #rsync使用的用户。
gid=rsync #rsync使用的用户组(用户所在的组)
use chroot=no #如果为true,daemon会在客户端传输文件前“chroot to the path”。这是一种安全配置,因为我们大多数都在内网,所以不配也没关系
max connections=200 #设置最大连接数,默认0,意思无限制,负值为关闭这个模块
timeout=400 #默认为0,表示no timeout,建议300-600(5-10分钟)
pid file #rsync daemon启动后将其进程pid写入此文件。如果这个文件存在,rsync不会覆盖该文件,而是会终止
lock file #指定lock文件用来支持“max connections”参数,使得总连接数不会超过限制
log file #不设或者设置错误,rsync会使用rsyslog输出相关日志信息
ignore errors #忽略I/O错误
read only=false #指定客户端是否可以上传文件,默认对所有模块为true
list=false #是否允许客户端可以查看可用模块列表,默认为可以
hosts allow #指定可以联系的客户端主机名或和ip地址或地址段,默认情况没有此参数,即都可以连接
hosts deny #指定不可以联系的客户端主机名或ip地址或地址段,默认情况没有此参数,即都可以连接
auth users #指定以空格或逗号分隔的用户可以使用哪些模块,用户不需要在本地系统中存在。默认为所有用户无密码访问
secrets file #指定用户名和密码存放的文件,格式;用户名;密码,密码不超过8位
[backup] #这里就是模块名称,需用中括号扩起来,起名称没有特殊要求,但最好是有意义的名称,便于以后维护
path #这个模块中,daemon使用的文件系统或目录,目录的权限要注意和配置文件中的权限一致,否则会遇到读写的问题
特别说明:
1)模块中的参数项可以拿到全局配置中使用
2)以上配置文件中的参数,为生产中经常使用的参数,初学者掌握这些足够了。
3)以上配置文件中没有提到的参数请参考man rsyncd.conf查看
附录2: 开发rsync服务启动脚本
#!/bin/bash
#author:Mr.thinkmo
. /etc/rc.d/init.d/functions
start(){
rsync --daemon
if [ $? -eq 0 -a ps -ef|grep -v grep|grep rsync|wc -l
-gt 0 ];then
action "Starting Rsync:" /bin/true
sleep 1
else
action "Starting Rsync:" /bin/false
sleep 1
fi
}
stop(){
pkill rsync;sleep 1;pkill rsync
if [ ps -ef|grep -v grep|grep "rsync --daemon"|wc -l
lt 1 ];then
action "Stopping Rsync: ps -ef|grep -v grep|grep rsync|wc -l
" /bin/true
sleep 1
else
action "Stopping Rsync:ps -ef|grep -v grep | grep "rsync --daemon"|wc -l
" /bin/true
sleep 1
fi
}
case "$1" in
start)
start;
;;
stop)
stop;
;;
restart|reload)
$0 stop;
$0 start;
;;
*)
echo $"Usage: $0 {start|stop|restart|reload}"
;;
esac
保存成rsyncd,放到/etc/init.d/rsyncd
[root@thinkmo2 ~]# cp rsync /etc/init.d/rsyncd
[root@thinkmo2 ~]# chmod +x /etc/init.d/rsyncd
[root@thinkmo2 ~]# /etc/init.d/rsyncd stop
已终止
[root@thinkmo2 ~]# /etc/init.d/rsyncd start
Starting Rsync: [确定]
标签:rsync同步 serve c项目 英文 www cp命令 传输文件 ogr esc
原文地址:http://blog.51cto.com/2326749/2340398