之前写过一篇文章:binlog还能这么用之Canal篇，在里面介绍了一些增量数据迁移的一些方法，但是对于整体的数据的迁移介绍得不是很深，这里想对迁移数据整体做一个介绍，希望能帮助到大家。背景在星爷的《大话西游》中有一句非常出名的台词：“曾经有一份真挚的感情摆在我的面前我没有珍惜，等我失去的时候才追悔莫及，人间最痛苦的事莫过于此，如果上天能给我一次再来一次的机会，我会对哪个女孩说三个字：我爱你，如果
分类：
其他好文 时间：
2020-10-29 09:41:57
阅读次数：
14
背景不知道是否你还在为下面的问题而困扰：?当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。?当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。?当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据库的还好，如果是不同数据库就不能保证事务，那么数据一致性也是个问题，就会写很
分类：
其他好文 时间：
2020-10-29 09:41:38
阅读次数：
14
最近在学习MySQL优化方面的知识。本文就数据类型和schema方面的优化进行介绍。1.选择优化的数据类型MySQL支持的数据类型有很多，而如何选择出正确的数据类型，对于性能是至关重要的。以下几个原则能够帮助确定数据类型：更小的通常更好应尽可能使用可以正确存储数据的最小数据类型，够用就好。这样将占用更少的磁盘、内存和缓存，而在处理时也会耗时更少。简单就好当两种数据类型都能胜任一个字段的存储工作时，
分类：
数据库 时间：
2020-10-27 11:55:39
阅读次数：
33
1、索引的分类 普通索引（单列索引）：一个索引只包含单个列，一个表可以有多个； create index idx_brand_name on brand(name); alter table brand add index idx_brand_name(name); show index from ...
分类：
数据库 时间：
2020-10-27 11:13:40
阅读次数：
23
网络信息收集 1：网络踩点 2：网络扫描 3：网络查点 网络踩点 目标组织： 1：具体使用的域名 2：网络地址范围 3：因特网上可直接访问的ip地址和网络服务 4：网络拓扑结构 5：电话号码段 6：电子邮件列表 7：信息安全状况 目标个人： 身份信息，联系方式，职业经历，甚至个人隐私信息 踩点的方式 ...
分类：
其他好文 时间：
2020-10-27 11:10:31
阅读次数：
21
丢弃掉那些BeanUtils工具类吧，MapStruct真香！！！△Hollis,一个对Coding有着独特追求的人△这是Hollis的第298篇原创分享作者lHollis来源lHollis（ID：hollischuang）在前几天的文章《为什么阿里巴巴禁止使用ApacheBeanutils进行属性的copy？》中，我曾经对几款属性拷贝的工具类进行了对比。然后在评论区有些读者反馈说MapStruc
分类：
其他好文 时间：
2020-10-27 11:06:04
阅读次数：
12
spark sql 的function中有一个 instr 可以判断其中一列是否是另外一列的子字符 新增字段 判断一个字段是否包含另一个字段的字符串，如果包含值为1否则是0 Df.withColumn("newColumn",when(instr(col("aColumn"),col("bColum ...
分类：
数据库 时间：
2020-10-27 10:54:18
阅读次数：
55
https://blog.csdn.net/u011239989/article/details/72863333 expain ref: 表示查询所使用的访问类型，type的值主要有八种，该值表示查询的sql语句好坏，从最好到最差依次为：system>const>eq_ref>ref>range> ...
分类：
数据库 时间：
2020-10-26 11:53:51
阅读次数：
28
前提是DDC与express装在一起的情况下。遇到的问题：DDC连接express时显示错误：验证服务器实例"Localhost\sqlexpress"上的数据库“CitrixxxxLogging”失败。关联SQL错误为：连接超时时间已到。在尝试使用预登陆握手确认时超过了此超时时间。这可能是因为预登陆握手失败或服务器未能及时响应。尝试连接到此服务器花费的持续时间是-[Pre-L
分类：
数据库 时间：
2020-10-26 11:48:05
阅读次数：
27
