根据太保家园项目的最终目标，在一期建设中，需要将太平洋保险集团下属的寿险，产险，车险等30多个核心系统数据，通过实时同步复制的方式，统一集中到大数据平台。其中涉及数据的转换，标化，清洗，去重等一系列过程，具体需求如下：
1、 需要将核心数据从30多个系统同步到大数据平台的kafka组件。
2、 确保数据复制的实时性（秒级）和数据的准确性
3、 复制的数据需要加上时间，操作类型等标签，便于后端应用识别
4、 以生产环境的dg库作为数据的汇聚源端，减轻对生产库的影响
5、 入kafka的数据格式可灵活配置，以便更好的适配后端应用
6、 需要具备数据操作统计和数据比对功能，便于核对数据的准确性
分类：
数据库 时间：
2018-06-13 15:14:53
阅读次数：
1371
今天在网上找了很多省市级联，发现省市县镇村级联很少。 研究了数据很难找到，还好在http://www.42du.cn/paper/15上找到了数据与方法。 将网上的数据复制下来，通过读取文件将数据放到数据库中方便以后调用。 //读取文件，将字符串分割后保存到数据库表中 public void Str ...
分类：
其他好文 时间：
2018-05-29 18:57:20
阅读次数：
138
总结：不平衡数据的分类，（1）数据层面：使用过采样是主流，过采样通常使用smote，或者少数使用数据复制。过采样后模型选择RF、xgboost、神经网络能够取得非常不错的效果。（2）模型层面：使用模型集成，样本不做处理，将各个模型进行特征选择、参数调优后进行集成，通常也能够取得不错的结果。（3）其他 ...
分类：
其他好文 时间：
2018-05-25 19:27:18
阅读次数：
587
1.复制表结构： create table newName like oldName;//可以复制所有结构。 或者: create table newName select * from oldName where 1<>1;//让where条件不成立,只能拷贝结构,无法拷贝内容,且外键约束 、主键 ...
分类：
数据库 时间：
2018-05-22 15:00:36
阅读次数：
215
语句数据行操作 今日内容 先生成两张表tb11\tb12 as别名不影响数据，只影响表头 增 增1行 增多行 将一个表的所有数据，复制到另一张表中 删 改 查 其他 通配符： 分页： 排序 分组 作业练习： http://www.cnblogs.com/wupeiqi/articles/572993 ...
分类：
数据库 时间：
2018-05-20 11:50:49
阅读次数：
210
原文:sql server 高可用性技术总结一. 复制Replication（快照、事务、合并） 应用场景： 负载均衡、提供副本读，写操作。 分区将历史数据复制到其它表中。 授权，将数据提供它人使用。 数据合并。 故障转移。 优点: 实现简单。 数据同时同步,几乎达到镜像。 可以实... ...
分类：
数据库 时间：
2018-05-19 10:40:53
阅读次数：
139
json数据错误处理,把json文件数据复制到 > https://www.bejson.com/ 在线解析json 这样能直观的了解到是否是json数据写错,在控制台打断点,那里错误打那里断点,观察是否有错误. 效果: ...
分类：
Web程序 时间：
2018-05-19 00:15:35
阅读次数：
243
一. 复制Replication（快照、事务、合并） 应用场景： 负载均衡、提供副本读，写操作。 分区将历史数据复制到其它表中。 授权，将数据提供它人使用。 数据合并。 故障转移。 优点: 实现简单。 数据同时同步,几乎达到镜像。 可以实现对某些表，或表数据过滤进行复制。 缺点: 不适合做高可用，因 ...
分类：
数据库 时间：
2018-05-18 16:23:32
阅读次数：
163
一、介绍 binlog， 即二进制文件，他记录了MySQL所有数据的变更，并以二进制的形式存储在磁盘上 二、binlog模式 binlog有三种模式：ROW（行模式）, Statement（语句模式）, Mixed（混合模式） ROW（行模式）：记录那条数据修改了，注意：记录的是这条记录的全部数据， ...
分类：
其他好文 时间：
2018-05-17 21:13:59
阅读次数：
149
1. 如何进行迁移 对模型和相应的数据进行.cuda()处理。通过这种方式，我们就可以将内存中的数据复制到GPU的显存中去。从而可以通过GPU来进行运算了。 1.1 判定使用GPU 下载了对应的GPU版本的Pytorch之后，要确保GPU是可以进行使用的，通过torch.cuda.is_availa ...
分类：
其他好文 时间：
2018-05-16 22:39:54
阅读次数：
525
