接到个小需求，将mysql的部分数据增量同步到es，但是不仅仅是使用canal而已，整体的流程是mysql canal flume kafka es，说难倒也不难，只是做起来碰到的坑实在太多，特别是中间套了那么多中间件，出了故障找起来真的特别麻烦。 先来了解一下MySQL的主从备份： 从上层来看，复 ...
分类：
其他好文 时间：
2018-04-29 16:24:39
阅读次数：
398
当应用程序对使用 Active Directory (AD) 的 LDAP 服务器进行同步的时候，同步的任务只对 LDAP 最近修改的数据进行同步而不是对整个数据库进行同步。因为是增量同步，在第一次完整同步完成后，后续的同步效率就非常高而且同步时间也非常短。在另外一个方面，这个同步方法也会有一些限制：从 Scope 外移动或者重命名对象将会在 AD 中导致问题：如果你从 AD 中移动对象到 sco
分类：
其他好文 时间：
2018-04-20 10:21:16
阅读次数：
183
业务背景 业务背景就是需要将多张业务表中的数据增量同步到一张大宽表中，后台系统基于这张大宽表开展业务，所以就开发了一个数据同步工具，由中间件采集binlog消息到kafka里，然后我去消费，实现增量同步。 生产环境发现的现象 在程序发布到生产环境时候，机器的CPU使用率立马被打到100%， load ...
分类：
其他好文 时间：
2018-04-10 21:53:48
阅读次数：
209
之前一直在Java代码中嵌套sql,所以对sql有一个误区，只能一列一列执行，其实sql也可以定义变量，定义函数（存储过程） 在公司实习，需要实现将一张表数据定时插入到另一张表 这里用到了游标和sql server的作业 思路： 1.需要运用游标对表记录遍历的功能 2.需要将需要插入的列定义为变量赋 ...
分类：
其他好文 时间：
2018-04-09 18:44:52
阅读次数：
257
和MySQL主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，Redis的主从结构可以采用一主多从或者级联结构，下图为级联结构。 Redis主从复制可以根据是否是全量分为全量同步和增量同步。 1 全量同步 Redis全量 ...
分类：
其他好文 时间：
2018-02-28 12:00:05
阅读次数：
137
Rsync是一个功能强大的增量备份，复制工具，rsync能够复制删除，增量同步本地和远程的文件或者目录，在本地复制方面能够替代cp 远程复制能够替代scp但是优于scp,本地和远程清空目录或者文件内容等又能够代替rm 而且效率比rm 更高。还能通过将其配置为守护进程，使其远程客户端推送或者拉取数据不需要二次写入密码。
分类：
其他好文 时间：
2017-11-28 20:36:23
阅读次数：
226
八周二次课（9月19日）10.28rsync工具介绍10.29/10.30rsync常用选项10.31rsync通过ssh同步10.28rsync工具介绍rsync增量同步rsync-av/etc/passwd/tmp/1.txtsendingincrementalfilelistpasswdsent2165bytesreceived31bytes4392.00bytes/sectotalsizeis2091speedupis0.95V可视化。..
分类：
其他好文 时间：
2017-09-20 23:24:19
阅读次数：
206
转载请出自出处:http://www.cnblogs.com/hd3013779515/ 1.创建MySQL数据 create database solr; use solr; DROP TABLE IF EXISTS student; CREATE TABLE student ( id char(... ...
分类：
数据库 时间：
2017-05-21 00:23:10
阅读次数：
415
引言：rsync实现数据备份，inotify监控文件系统提供通知功能，二者结合能够实现服务器之间文件的实时同步。 rsync 特性： 可以镜像保存整个目录树和文件系统； 增量同步数据，文件传输效率高； 可以保持原有文件的权限、时间等属性； 加密传输数据，保证了数据的安全性； 支持断点续传； 可以使用 ...
分类：
其他好文 时间：
2017-04-20 18:21:26
阅读次数：
244
