inotify是一种强大的,细粒度的,异步文件系统时间监控机制,它可以替代crond实现与rsync的触发式文件同步,从而监控文件系统中添加,删除,修改,移动等细粒事件,从LINUX2.6.13起,就已加入了对inotify的支持,所以我们只需要安装一个第三方软件inotify-tools即可管理此服务...
分类:
其他好文 时间:
2014-12-22 14:39:18
阅读次数:
223
要求:两台Web服务器实现数据同步(我这里使用的是Centos 6.2-x64) 服务器一:172.16.11.126 服务器二:172.16.11.127 一、配置ssh备份源172.16.11.126(这里推荐使用专用的普通用户,注意相应的权限问题,如遇特殊...
分类:
其他好文 时间:
2014-12-20 19:44:50
阅读次数:
265
实验节点如下:源节点:192.168.0.111备份节点:192.168.0.112------------------------------以下部分在两个节点上执行1、防火墙开放873端口(两个节点)#/sbin/iptables-IINPUT-ptcp--dport873-jACCEPT#/etc/rc.d/init.d/iptablessave#serviceiptablesrestart2、关闭selinux..
分类:
其他好文 时间:
2014-12-20 18:23:58
阅读次数:
179
主服务器:192.168.5.13_ubuntu从服务器:192.168.5.11_centos================== 1> 在两台主机上分别安装rsync===================ubuntu安装如下:# apt-get install rsync编译安装:下载这个免费的...
分类:
系统相关 时间:
2014-12-20 15:29:23
阅读次数:
216
文章: http://blog.csdn.net/lili72
背景: 分布式文件通过rsync同步到生产机。 文件数 1440=24*60 也就是一分钟生成一个文件 文件命名 0000 0001 0002 ... 2358 2359 。由于文件传过来是JSON格式,需要对文件进行解析,导入HDFS中。
过程
1 rsync同步文件到当天的日期目录,每天实时把文件...
分类:
Web程序 时间:
2014-12-19 23:32:53
阅读次数:
407
由于目前线上的两台NFS服务器,一台为主,一台为备。主到备的数据同步,靠rsync来做。由于数据偏重于图片业务,并且还是千万级的碎图片。在目前的业务框架下,NFS服务是存在单点的,并且数据的同步也不能做完全实时性,从而导致不能确保一致性。因此,出于对业务在线率和数据安..
分类:
其他好文 时间:
2014-12-19 19:22:51
阅读次数:
415
主服务器:192.168.5.13_ubuntu从服务器:192.168.5.11_centos================== 1> 在两台主机上分别安装rsync===================ubuntu安装如下:# apt-get install rsync编译安装:下载这个免费的...
分类:
系统相关 时间:
2014-12-17 12:13:18
阅读次数:
245
关于这个auth失败的问题,有以下可能的情况:1、密码输入错误:请再次确认你登录用户的密码无误2、secrets file格式错误:secrets file的文件格式是 upload:123456表示upload用户的rsync密码是1234563、配置文件写错:最坑爹的一个,看看自己模块配置下面的...
分类:
其他好文 时间:
2014-12-12 18:26:40
阅读次数:
104
由于目录下全是琐碎的小文件而且目录结构具深,使用rm -rf /backup ,速度是每秒钟40-60M,我去,10T的数据得删多长时间啊!网上找资料,可以通过rsync来实现,mkdir /tmp/nullrsync--delete-before-a-H-v--progress--stats/tm...
分类:
系统相关 时间:
2014-12-11 20:46:05
阅读次数:
237
由于目录下全是琐碎的小文件而且目录结构具深,使用rm-rf/backup,速度是每秒钟40-60M,我去,10T的数据得删多长时间啊!网上找资料,可以通过rsync来实现,mkdir/tmp/nullrsync--delete-before-a-H-v--progress--stats/tmp/null//backup/photos/
测试了删除速度,刚开始时候每秒..
分类:
系统相关 时间:
2014-12-11 19:21:56
阅读次数:
307