重复数据删除（de-duplication）是存储领域，尤其是数据备份领域的一个非常重要的概念。其目的是删除重复的数据块，从而减少对存储空间的使用。这种想法的出发点是非常自然的。通常情况下，每次备份的数据总是会有一部分跟上一次备份的数据重合。比如，每次备份都要包含一个100..
分类：
其他好文 时间：
2014-09-12 19:20:14
阅读次数：
219
需求：两台服务器（A、B），在服务器A上存放着大量的图片，需要在每天夜里三点同步到服务器B，源目录和目的目录都是/p_w_picpath启用程序：rsync服务器A上的配置：1、/etc/rsyncd.confuid=nobodygid=nobodyusechroot=nomaxconnectionts=6readonly=yeshostsallow=192.168.95.0/2..
分类：
其他好文 时间：
2014-09-12 15:18:54
阅读次数：
140
一、安装和启动SSH协议sudo yum install ssh sudo yum install rsyncservice sshd restart 启动服务（rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）确保所有的服务器都安装，上面命令执行完毕，各台机器之间可以...
分类：
其他好文 时间：
2014-09-12 08:50:23
阅读次数：
422
最新的hadoop2.5 安装目录做了一定修改，安装变得稍微简单一点
首先安装准备工具
$ sudo apt-get install ssh
$ sudo apt-get install rsync
配置ssh
$ ssh localhostIf you cannot ssh to localhost without a passphrase, execute the...
分类：
其他好文 时间：
2014-09-10 19:34:21
阅读次数：
201
规划：1、使用lvs的nat模型，负载均衡两台Discuz服务器。2、Discuz服务器的数据共享解决方案：部署Discuz!论坛程序要解决两大问题：(1)、用户上传的附件属于非结构化的数据要保存在文件系统中。要解决两台提供Discuz!论坛服务的附件共享问题： (A)、当用户上传附件时通过地址重..
分类：
其他好文 时间：
2014-09-10 02:51:10
阅读次数：
420
rsync常用选项
-a：归档模式，相当于-rlptgoD
-v：显示同步过程详细信息
-z：传输过程中启用压缩
-H：保留硬连接文件
-A：保留文件的ACL属性信息
--delete：删除目标有而源没有的文件
--checksum：根据校验和来决定是否要同步1.发布rsync--daemon共享
1）建立同步账号文件（匿..
分类：
其他好文 时间：
2014-09-09 13:47:08
阅读次数：
182
1.使用ssh-keygen生成秘钥现在我们来设置ssh,以便在执行ssh操作时不需要密码，使用ssh-keygen在本地生成公钥和私钥。$ ssh-keygenEnter passphrase (empty for no passphrase):Enter same passphrase agai...
分类：
其他好文 时间：
2014-09-08 10:51:06
阅读次数：
315
rsync+inotify实时数据同步单目录实战rsync+inotify实时数据同步单目录实战inotify是一个强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起加入了inotify支持，通过inotify可以监控文件系统中添加、删除、修改、移动等各种事件，利用这个内核...
分类：
其他好文 时间：
2014-09-07 21:08:55
阅读次数：
260
Rsync服务端部署流程Rsync服务端部署流程：一、rsync服务端配置流程配置rsync配置文件/etc/rsyncd.conf创建同步的本地目录/dingjian 并根据需要授权目录和/etc/rsync.password为配置文件中path = /dingjian/参数的配置账号密码文件配置...
分类：
其他好文 时间：
2014-09-07 21:08:45
阅读次数：
244
备份全网服务器数据生产架构方案案例模型某公司里有一台web服务器，里面的数据很重要，但是始果硬盘坏了，数据就会丢失，现在领导要求你把数据在其他机器上做一个周期性定时备份，要求如下：每天晚上00点整在web服务器A上打包备份网站程序目录并通过rsync命令推送到服务器B上备份保留（备份思路可以是先在本...
分类：
其他好文 时间：
2014-09-07 21:08:05
阅读次数：
338
