前言：一、为什么要用Rsync+sersync架构?1、sersync是基于Inotify开发的，类似于Inotify-tools的工具2、sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的这个文件或者这个目录。..
分类：
其他好文 时间：
2017-04-18 20:09:12
阅读次数：
333
目标：利于kettle实现单表增量同步，以时间为判断条件 背景：源表：db1.q1 （2w条数据） 目标表：db2.q2（0条数据） 表结构： CREATE TABLE `q1` ( `ID` bigint(20) NOT NULL AUTO_INCREMENT, `anlage` varchar( ...
分类：
其他好文 时间：
2017-04-12 04:25:36
阅读次数：
132
这里是用的从一个库同步到另一个库，代码如下 这个sqllist是一个 Key:表名 Value:查询SQL ，做增量同步查询的，主要根据时间戳来获取时间。 用SqlAdapter的Update方法来做更新，这里有个问题，在更新的DataTable里面的数据要对DataRow的RowState进行一个 ...
分类：
其他好文 时间：
2017-04-05 16:23:56
阅读次数：
306
因服务器内部有使用Windows、Linux服务器，因此备份服务器就需要兼容二者。有以下几种方式:1.FTP2.Rsync3.Samba...以上几种方式都是比较简单的方式，Rsync可用于增量同步，在Windows环境下需要安装客户端，比较麻烦。本文主要讲Samba搭建一个只写入不允许删除的备份服务器，删..
分类：
其他好文 时间：
2017-03-30 14:11:43
阅读次数：
125
转载自云享团 因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候，对如何设置数据同步策略有疑惑，所以今天第一波我们来聊一下数据的同步策略，根据数据的特性，看看哪些数据适合增量同步，哪些适合全量同步，又是如何实现的？请认真看完下面的介绍，这些问题都不是事儿。 ...
分类：
其他好文 时间：
2017-03-16 18:32:30
阅读次数：
319
一、rsync的特性 rsync的特性： 1、 支持拷贝特殊文件，设备等 2、 可以有排除指定文件或者目录同步的功能，相当于tar的排除功能 3、 可以做到保持源文件或目录的权限、时间、软硬连接、属主、组等所有属性均不改变-p 4、 可实现增量同步，既只能同步发生变化的数据，因此数据传输效率很高（t ...
分类：
其他好文 时间：
2017-02-19 10:44:49
阅读次数：
285
1、实时性要求不高，采用全删全插的方式（适合于维度表、大数据量表） 2、有时间维度，直接从事实表同步的数据，可以采用根据时间字段进行筛选，增量同步。这个网上有很多例子，就不重复写了。 3、没有时间维度，同时表数据量比较大，且不能采用全删全插方式的，可以采用增量更新的方法。 在第三种方法中，尤其需要注 ...
分类：
其他好文 时间：
2017-02-16 11:22:15
阅读次数：
197
2016马上要结束了，回顾一下这一年对hbase的学习历程。 1，年初hbase的状态 使用场景：主要是用来存储业务线的mysql表，增量同步到hbase，然后每天晚上全量导入hdfs做离线计算。 hbase集群状态：除了调大了regionserver的heap size。其他基本没有动。经常发生的 ...
分类：
其他好文 时间：
2016-12-11 02:34:04
阅读次数：
204
一、准备工作-主服务器：Rsync，发起端InotifySshIP:192.168.10.128-备份服务器ssh，备份端IP:192.168.10.129二、部署过程1、备份端建立上传用户，并设置权限-创建用户[root@backup~]#useraddrput
[root@backup~]#passwdrput-为同步目录设置访问权限[root@backup~]#chown-Rrput..
分类：
其他好文 时间：
2016-12-06 14:46:37
阅读次数：
259
从上方插件官网中下载适合的dist包，然后解压。进入bin目录，可以看到一堆sh脚本。在bin目录下创建一个test.sh: bin=/home/csonezp/Dev/elasticsearch-jdbc-2.3.1.0/binlib=/home/csonezp/Dev/elasticsearch ...
分类：
数据库 时间：
2016-11-29 22:06:35
阅读次数：
291
