讨论了glusterfs对文件系统爬虫rsync／ls目录性能的现有优化措施和可能的进一步优化方案。优化思路是减少本地文件系统的元数据操作，减少fuse client的负载，减少req的网络轮询次数，减少一次网络通信时间，缓存预抓取，并发，异步，bulk 传输。...
分类：
其他好文 时间：
2014-05-05 13:24:35
阅读次数：
536
sersync(873端口)实时同步(单向同步)需要注意：纯粹的使用rsync做单向同步时，rsynx的守护进程是运行在文件推送服务器上，而接收的服务器是运行rsync客户端。使用sersync做文件实时同步刚好相反，用于接收文件的服务器运行rsync守护进程。sersync主要用于服务器同步,web镜像等..
分类：
其他好文 时间：
2014-05-03 01:58:08
阅读次数：
849
一、简介1、rsync比其cp、tar备份的方法，rsync的优点是，安全性高、备份迅速、支持增量备份。只能做对实时性要求不高的数据备份，例如：备份文件服务到远端从服务器、在本地磁盘上做数据镜像等增量备份：就是rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。但是..
分类：
其他好文 时间：
2014-05-03 01:14:53
阅读次数：
474
rsync客户端+inotify-tools1.1.1.12rsync服务器1.1.1.111.1.1.12配置[root@slave3wwwroot]#cat/etc/rsyncd-web.sh
#!/bin/bash
host1=1.1.1.11
src=/web/wwwroot/
dst1=web1
/usr/bin/inotifywait-mrq--timefmt‘%d/%m/%y%H:%M‘--format‘%T%w%f%e‘-emodify,delete,create,attrib..
分类：
其他好文 时间：
2014-05-03 01:08:22
阅读次数：
426
Linux下Rsync+inotify-tools实现数据实时同步中有一个重要的配置就是设置Inotify的max_user_watches值，如果不设置，当遇到大量文件的时候就会出现出错的情况。一般网上修改方法就是直接修改文件：/proc/sys/fs/inotify/max_user_watch...
分类：
系统相关 时间：
2014-05-01 21:22:57
阅读次数：
715
抓取#!/bin/bash. push.sh# 错误处理:尝试查找备份文件function
onError(){ local errFile="err" local serverInfo=($1 $2 $3) # ip username
password l...
分类：
其他好文 时间：
2014-04-30 16:23:25
阅读次数：
449
我使用crontab同步一个文件夹时，发现一个问题，我在crontab中设置的1分钟运行一次.但当那个文件夹的内容改变时。1分钟不一定能同步完，但这时第二个rsync进行又起来了。这个就产生一个问题，二个rsync一起处理相同的文件，这样会出问题。如下1
* * * * /usr/bin/rsync...
分类：
其他好文 时间：
2014-04-29 21:28:07
阅读次数：
560
