码迷,mamicode.com
首页 > 其他好文 > 详细

rsync+inotify实现实时同步、增量备份

时间:2018-08-25 17:30:14      阅读:228      评论:0      收藏:0      [点我收藏+]

标签:gen   nec   name   partial   src   too   监视   system   检测   

主机A:被备份的源主机
主机B:备份的目的主机

  • 在linux内核中,默认的inotify机制提供了三个调控参数
[root@fudanwuxi html]# uname -r
3.10.0-693.el7.x86_64
[root@fudanwuxi html]# ll /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 Aug 25 09:32 max_queued_events  #监控事件队列
-rw-r--r--. 1 root root 0 Aug 25 09:32 max_user_instances  #最多监控实例数
-rw-r--r--. 1 root root 0 Aug 25 09:32 max_user_watches  #每个实例最多监控文件数
[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_queued_events 
16384
[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_user_instances 
128
[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_user_watches 
8192
  • 当要监控的目录、文件数量较多或者变化较频繁时,要加大这三个参数的值,如下
[root@fudanwuxi html]# vim /etc/sysctl.conf                      
# sysctl settings are defined through files in
# /usr/lib/sysctl.d/, /run/sysctl.d/, and /etc/sysctl.d/.
#
# Vendors settings live in /usr/lib/sysctl.d/.
# To override a whole file, create a new file with the same in
# /etc/sysctl.d/ and put new settings there. To override
# only specific settings, add a file with a lexically later
# name in /etc/sysctl.d/ and put new settings there.
#
# For more information, see sysctl.conf(5) and sysctl.d(5).

fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 305564824
~                                                    
[root@fudanwuxi html]# sysctl -p
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 305564824
[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_queued_events  
32768
[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_user_instances  
1024
[root@fudanwuxi html]# cat /proc/sys/fs/inotify/max_user_watches
305564824
  • 上传inotify-tools-3.13.tar.gz并解压
[root@fudanwuxi ~]# rz
rz waiting to receive.
Starting zmodem transfer.  Press Ctrl+C to cancel.
Transferring inotify-tools-3.13.tar.gz...
  100%     380 KB     380 KB/sec    00:00:01       0 Errors  

[root@fudanwuxi ~]# pwd
/root
[root@fudanwuxi ~]# ll | grep inotify
-rw-r--r--. 1 root root 389473 Aug 25 11:02 inotify-tools-3.13.tar.gz

[root@fudanwuxi ~]# tar -zxvf inotify-tools-3.13.tar.gz 
[root@fudanwuxi ~]# cd inotify-tools-3.13/
[root@fudanwuxi inotify-tools-3.13]# ll
total 1352
-rw-r--r--. 1 guest users 267482 Dec 30  2007 aclocal.m4
-rw-r--r--. 1 guest users     39 Dec 30  2007 AUTHORS
-rw-r--r--. 1 guest users  11301 Dec 30  2007 ChangeLog
-rwxr-xr-x. 1 guest users  45126 Dec 30  2007 config.guess
-rw-r--r--. 1 guest users   2025 Dec 30  2007 config.h.in
-rwxr-xr-x. 1 guest users  32931 Dec 30  2007 config.sub
-rwxr-xr-x. 1 guest users 690681 Dec 30  2007 configure
-rw-r--r--. 1 guest users   1829 Dec 30  2007 configure.ac
-rw-r--r--. 1 guest users  18002 Dec 30  2007 COPYING
-rwxr-xr-x. 1 guest users  15936 Dec 30  2007 depcomp
-rw-r--r--. 1 guest users   9498 Dec 30  2007 INSTALL
-rwxr-xr-x. 1 guest users   9233 Dec 30  2007 install-sh
drwxrwxrwx. 3 guest users     55 Dec 30  2007 libinotifytools
-rw-r--r--. 1 guest users 201510 Dec 30  2007 ltmain.sh
-rw-r--r--. 1 guest users    191 Dec 30  2007 Makefile.am
-rw-r--r--. 1 guest users  19389 Dec 30  2007 Makefile.in
drwxrwxrwx. 2 guest users     87 Dec 30  2007 man
-rwxr-xr-x. 1 guest users  11014 Dec 30  2007 missing
-rw-r--r--. 1 guest users     48 Dec 30  2007 NEWS
-rw-r--r--. 1 guest users    246 Dec 30  2007 README
drwxrwxrwx. 2 guest users    119 Dec 30  2007 src
  • 安装
[root@fudanwuxi inotify-tools-3.13]# ./configure
[root@fudanwuxi inotify-tools-3.13]# make -j 4
[root@fudanwuxi inotify-tools-3.13]# echo $?            
0
[root@fudanwuxi inotify-tools-3.13]# make install
  • ssh验证
[root@fudanwuxi ~]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory ‘/root/.ssh‘.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:djfNU67i/01V6z7FvTTr0sIWDaMJEXxwjiLQUHXG8dM root@fudanwuxi
The key‘s randomart image is:
+---[RSA 2048]----+
|   o+...o*+.     |
|    ..  o+=..    |
|     . . .o+ E  o|
|      . ..  .= oo|
|        S o = Bo+|
|       . . + o.*=|
|            o =.*|
|           . *.*.|
|            o.=++|
+----[SHA256]-----+
[root@fudanwuxi ~]# 
[root@fudanwuxi ~]# ssh-copy-id root@192.168.10.178 
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
The authenticity of host ‘192.168.10.178 (192.168.10.178)‘ can‘t be established.
ECDSA key fingerprint is SHA256:plDF/rfSdZkeOwQLGhV7M9NlvcQR78+4n1zWFE/Kw8E.
ECDSA key fingerprint is MD5:c1:79:b6:7e:a3:bb:52:50:d4:47:59:46:8c:87:ad:ee.
Are you sure you want to continue connecting (yes/no)? yes
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@192.168.10.178‘s password: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh ‘root@192.168.10.178‘"
and check to make sure that only the key(s) you wanted were added.

此时ssh登录主机B时候无需输入密码

  • 脚本

    脚本思路:只要检测到变动或事件时候,执行rsync上行同步操作即可

在主机A上编写脚本并执行

[root@fudanwuxi ~]# vim superbackup.sh
#!/bin/bash
inotifywait -mrq -e create,move,delete,modify /var/www/html/ | while read a b c
do
        rsync -azP  --delete /var/www/html/ root@192.168.10.178:/web-back

done
~                                                   
[root@fudanwuxi ~]# ./superbackup.sh
  • 测试,在主机A上被备份的目录/var/www/html下修改文件
[root@fudanwuxi html]# vim superbackup.txt 
如果你看到这个文件,说明实时同步成功
!!!are you ok
~                                                   
[root@fudanwuxi html]# echo "再次新增文件,如果看到这个文件,说明OK" > superbackup1.txt

验证,在主机B查看目的备份目录/web-back/

[root@fudanwuxi002 ~]# ll /web-back/
总用量 24
-rw-r--r--. 1 root root 31 8月  24 23:35 1.txt
-rw-r--r--. 1 root root 31 8月  24 23:43 2.txt
-rw-r--r--. 1 root root 21 8月  24 23:09 ajie.txt
-rw-r--r--. 1 root root 14 8月  24 23:15 index.txt
-rw-r--r--. 1 root root 69 8月  25 13:24 superbackup.txt
-rw-r--r--. 1 root root 49 8月  24 22:36 testbackup.txt
[root@fudanwuxi002 ~]# 
[root@fudanwuxi002 ~]# ll /web-back/     
总用量 28
-rw-r--r--. 1 root root 31 8月  24 23:35 1.txt
-rw-r--r--. 1 root root 31 8月  24 23:43 2.txt
-rw-r--r--. 1 root root 21 8月  24 23:09 ajie.txt
-rw-r--r--. 1 root root 14 8月  24 23:15 index.txt
-rw-r--r--. 1 root root 57 8月  25 13:27 superbackup1.txt
-rw-r--r--. 1 root root 69 8月  25 13:24 superbackup.txt
-rw-r--r--. 1 root root 49 8月  24 22:36 testbackup.txt

[root@fudanwuxi002 ~]# cat /web-back/superbackup.txt  
如果你看到这个文件,说明实时同步成功
!!!are you ok
[root@fudanwuxi002 ~]# cat /web-back/superbackup1.txt 
再次新增文件,如果看到这个文件,说明OK
[root@fudanwuxi002 ~]# 
  • 优化脚本

将主机A下的/backup/super/V2目录备份到主机B的/web-back目录下

脚本如下

点我下载

在主机下的/backup/super/V2目录先创建文件供测试用

[root@fudanwuxi ~]# mkdir -p /backup/super/V2
[root@fudanwuxi ~]# touch /backup/super/V2/index.php
[root@fudanwuxi ~]# touch /backup/super/V2/index.txt
[root@fudanwuxi ~]# touch /backup/super/V2/index.html
  • 让脚本开机后自动后台执行
[root@fudanwuxi ~]# echo ‘/root/superbackupV2.sh &‘ >> /etc/rc.local 

[root@fudanwuxi ~]# cat !$ 
#!/bin/bash
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run ‘chmod +x /etc/rc.d/rc.local‘ to ensure
# that this script will be executed during boot.

touch /var/lock/subsys/local
/root/superbackupV2.sh &
[root@fudanwuxi ~]# chmod +x /etc/rc.d/rc.local

验证

主机A重启后修改/backup/super/V2/index.php

[root@fudanwuxi ~]# echo "这是重启后修改,如果你看到这个文件,说明superbackupV2执行成功" > /backup/super/V2/index.php 

在主机B查看备份目录

[root@fudanwuxi002 ~]# ll /web-back/V2/
总用量 4
-rw-r--r--. 1 root root  0 8月  25 14:07 index.html
-rw-r--r--. 1 root root 86 8月  25 14:42 index.php
-rw-r--r--. 1 root root  0 8月  25 14:07 index.txt
[root@fudanwuxi002 ~]# cat /web-back/V2/index.php
这是重启后修改,如果你看到这个文件,说明superbackupV2执行成功
[root@fudanwuxi002 ~]# 
[root@fudanwuxi ~]# ps aux | grep inotify
root        976  0.0  0.0   6524   628 ?        S    14:49   0:00 inotifywait -mrq -e create,move,delete,modify,attrib /backup/super/V2
  • rsycn常用参数
-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
-p, --perms 保持文件权限
-P 等同于 --partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输
-q, --quiet 精简输出模式
-r, --recursive 对子目录以递归模式处理
-t, --times 保持文件时间信息
-v, --verbose 详细模式输出
-z, --compress 对备份的文件在传输时进行压缩处理
--delete 删除那些DST中SRC没有的文件
  • inotifywait常用参数
-m, 持续监视变化
-r, 使用递归形式监视目录
-q, 减少冗余信息,只打印出需要的信息
-e, 指定要监视的事件列表

可监视的事件
事件  描述
access  访问,读取文件。
modify  修改,文件内容被修改。
attrib  属性,文件元数据被修改。
move    移动,对文件进行移动操作。
create  创建,生成新文件
open    打开,对文件进行打开操作。
close   关闭,对文件进行关闭操作。
delete  删除,文件被删除。

rsync+inotify实现实时同步、增量备份

标签:gen   nec   name   partial   src   too   监视   system   检测   

原文地址:http://blog.51cto.com/jschinamobile/2164299

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!