本次由于安全漏洞原因，需要降redis3升级为redis6，涉及到数据迁移及校验等，用阿里redis-shake迁移工具迁移，并用阿里RedisFullCheck工具进行数据比对 一、新redis安装启动 开启老版本redis的哨兵模式，编辑完sentinel.conf后执行哨兵模式启动，主节点均要 ...
分类：
其他好文 时间：
2021-06-07 20:24:55
阅读次数：
0
金融RPA的2个典型应用：数据比对和回单打印一、合规部门数据比对流程自动化数据比对流程，通常是一些金融服务机构的一个小流程，但对于大部分企业或者员工而言，却是日常工作流程。1、流程拆分数据比对流程包括数据的获取、合并、比对，以及报告的生成、邮件的发送等环节。2、业务特点（1）数据来源广泛，数据文档来自多个系统、获取文档次数频繁。（2）数据处理量庞大，每天需要处理1000多条数据。（3）操作简单但繁
分类：
其他好文 时间：
2020-07-21 22:05:45
阅读次数：
60
金融RPA的2个典型应用：数据比对和回单打印一、合规部门数据比对流程自动化数据比对流程，通常是一些金融服务机构的一个小流程，但对于大部分企业或者员工而言，却是日常工作流程。1、流程拆分数据比对流程包括数据的获取、合并、比对，以及报告的生成、邮件的发送等环节。2、业务特点（1）数据来源广泛，数据文档来自多个系统、获取文档次数频繁。（2）数据处理量庞大，每天需要处理1000多条数据。（3）操作简单但繁
分类：
其他好文 时间：
2020-06-22 18:45:19
阅读次数：
58
opencv开源库来源于网络，功能相当强悍，欢迎与我交流！或评论区进行留言讨论它类似一个找茬的小游戏App，但知识点相当丰富**主要功能：1.登录，注册（有服务端servlet实现）2.本地照片选择（只能对两张图像进行数据处理以及比对）3.主要依赖OpenCV开源库来处理图像数据：如二值化，提取骨架，高斯模糊等等通过一系列算法综合使用，去掉要对比数据的干扰因子，然后提取最主要点进行数据比对4、一系
分类：
移动开发 时间：
2020-06-14 09:13:14
阅读次数：
74
页面（一定方式排序）返回一个JSON串，数据库查询相关数据（未排序）； 1 Jmeter——beanshell提取响应中的title值； 1.1复制fastjson-1.2.68.jar 到Jmeter的lib目录下； 1.2Test Plan中添加json包的路径； 1.3 beanshell中导 ...
分类：
其他好文 时间：
2020-06-04 13:55:10
阅读次数：
66
[toc] 简要： 需求了解： 在使用 开发的过程中，很多时候需要结合多个条件或者数据的逻辑判断，比如登录功能的表单验证，实时数据比对等。这个时候我们就需要使用 RxJava 的结合操作符来完成这一需求，Rx中提供了丰富的结合操作处理的操作方法。 可用于组合多个Observables的操作方法： C ...
分类：
编程语言 时间：
2019-12-31 23:20:17
阅读次数：
107
A Enlarge GCD 题意：给n个数，那么他们有gcd，去掉最多n 1个数使得他们的gcd变大。求去掉最少的数。 题解：首先如果所有数都相等，那么无解。否则一定有解：最多去掉只剩下最大的那个。gcd是没有影响的，可以直接除掉（注意gcd可以用0来初始化，0和x的gcd都等于x）。然后除去gcd ...
分类：
其他好文 时间：
2019-12-02 13:26:00
阅读次数：
80
技巧1.利用Spreadsheet Camprare一秒钟识别差异数据 如下图所示，我们如何快速比对我们自己做的表格和上司修改后的表格的差异呢？这里首先来介绍一个非常棒的工具：Spreadsheet Compare 2013。是Excel自带的一款数据比对工具，这个工具可以高效地帮助我们比对多个Ex ...
分类：
其他好文 时间：
2018-08-24 00:28:33
阅读次数：
255
最近在做一个数据库异构复制的项目,客户表示需要一个数据比对的工具,我就自己写了一个异构数据库的比对python脚本.这个比对脚本只能比对数量,不能比对具体的记录.使用的sql语句也是最基础的select count(*) 这种,没有开并发所以对大表可能比对时间稍长. 基本原理是将需要比对的数据写到一 ...
分类：
数据库 时间：
2018-06-14 14:44:00
阅读次数：
249
根据太保家园项目的最终目标，在一期建设中，需要将太平洋保险集团下属的寿险，产险，车险等30多个核心系统数据，通过实时同步复制的方式，统一集中到大数据平台。其中涉及数据的转换，标化，清洗，去重等一系列过程，具体需求如下：
1、 需要将核心数据从30多个系统同步到大数据平台的kafka组件。
2、 确保数据复制的实时性（秒级）和数据的准确性
3、 复制的数据需要加上时间，操作类型等标签，便于后端应用识别
4、 以生产环境的dg库作为数据的汇聚源端，减轻对生产库的影响
5、 入kafka的数据格式可灵活配置，以便更好的适配后端应用
6、 需要具备数据操作统计和数据比对功能，便于核对数据的准确性
分类：
数据库 时间：
2018-06-13 15:14:53
阅读次数：
1371
