rsync -azvP /rsync/ --password-file=/etc/rsyncd/rsyncd.password ruiy@192.168.11.199:/rsync/ rsync -azvP /rsync/ --password-file=/etc/rsyncd/rsyncd.pas ...
分类：
其他好文 时间：
2016-11-21 12:43:15
阅读次数：
172
因为发的时候，有些敏感信息没去除，所以大家发文的时候，切记要过滤。不然抓取的很厉害。这个脚本的作用是同步远程机器的少量log到一台机器上，然后通过logstash过滤显示犯了好几个错误local写错locals，locals是python特有定义变量的，不能重名sftp老报错，IOError:[Errno2]N..
分类：
编程语言 时间：
2016-10-29 02:38:19
阅读次数：
448
【主从复制】 一、 redis的复制 <!--more--> ## redis2.8版本后的复制机制，是采用增量复制的 ##复制过程：同步（全量or增量）——命令传播 1、同步流程： 2、全量同步过程： 3、增量同步过程： 【哨兵机制】 简介 sentinel是redis高可用的解决方案，senti ...
分类：
其他好文 时间：
2016-10-03 12:32:28
阅读次数：
276
1.概述 从MYSQL5.6 开始，mysql开始支持GTID复制。 基于日志点复制的缺点： 从那个二进制日志的偏移量进行增量同步，如果指定错误会造成遗漏或者重复，导致数据不一致。 基于GTID复制： 1.从服务器会告诉主服务器已执行的事务的GTID值。 2.主库会告诉从哪些GTID事务没有被执行。... ...
分类：
数据库 时间：
2016-09-28 01:51:46
阅读次数：
217
多终端数据同步机制设计（二） Intro 如果您没有看上一篇文章，建议您先移步到这里查看第一部分 上一次主要解决了基本的数据增量同步的问题，但仍然存在一些问题。 可能存在的主要问题： 针对以上可能出现的这两个问题，需要对数据进行校验并且数据量超过一定量时进行分批量传输， 本文将着手解决 数据校验 和 ...
分类：
其他好文 时间：
2016-09-21 21:28:05
阅读次数：
262
简介： GreenPlum是一个基于PostgreSQL数据库开发的MPP架构的数据库仓库，适用于OLAP系统，支持50PB(1PB=1000TB)级海量数据的存储和处理。 背景： 目前有一个业务是需要将Oracle数据库中的基础数据增量同步到GreenPlum数据仓库，便于进行数据分析和处理。 规 ...
分类：
数据库 时间：
2016-09-21 13:04:36
阅读次数：
607
1、前言rsync（remotesync）是一款非常好的数据同步工具，能够通过对比同步双方的数据变动，实现增量同步，还可以通过LAN/WAN实现远程多台主机间文件的同步，还能结合crond任务计划来执行自动备份，又可以结合ssh实现远程数据备份的安全，种种特性使他看起来相当优秀。但如果需..
分类：
其他好文 时间：
2016-06-16 00:11:22
阅读次数：
264
需求场景：原有的pxc环境数据量已经比较大，新买的服务器要加入此集群中，如何让其用IST的方式传输，而不是SST. PXC传输数据有两种方式： IST: Incremental State Transfer 增量同步 SST：State Snapshot Transfer 全量同步 IST 发生的条 ...
分类：
数据库 时间：
2016-05-28 17:19:42
阅读次数：
986
谈谈文件增量同步算法:RSYNC和CDC 分类： 数据同步 增量备份 分类： 数据同步 增量备份 版权声明：本文为博主原创文章，未经博主允许不得转载。 版权声明：本文为博主原创文章，未经博主允许不得转载。 最近在研究文件的增量同步问题，着重研究了文件差异编码部分，因为这个其实是文件同步的核心。目前应 ...
分类：
编程语言 时间：
2016-05-19 15:05:44
阅读次数：
460
