canal [k?'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量 ...
分类：
其他好文 时间：
2019-10-28 01:12:40
阅读次数：
91
说到MySQL数据库的安全性，可能有大量的相关话题，下面将对几个关键问题进行概括性描述。 （1）安全的一般性因素。包括使用强密码，禁止给用户分配不必要的权限，防止SQL注入攻击。 （2）安装步骤的安全性。确保安装MySQL时指定的数据文件、日志文件、程序文件均被存储在安全的地方，未经授权的人均无法读 ...
分类：
数据库 时间：
2019-10-02 00:24:06
阅读次数：
111
数据库优化方面的事情：定位：查找,定位慢查询，优化手段：1：创建索引：创建合适的索引，我们就可以现在索引中查询，查询到以后直接找对应的记录。2：分表：当一张表的数据比较多或者一张表的某些字段的值比较多并且很少使用时，采用水平和垂直分表来优化：3：读写分离：当一台服务器不能满足需求时，采用读写分离的方 ...
分类：
数据库 时间：
2019-09-20 12:43:07
阅读次数：
110
2018-08-18 16:58 无腿鸟 阅读(331) 评论(0) 编辑 收藏 问题：当一个表的数据量超过一亿条，要删除其中的5000w条，如何处理。 如果直接使用delete语句，会涉及到到大量的磁盘IO，并产生大量的数据库日志，效率很低，删除速度慢，可能导致事务中断，甚至有服务器硬盘空间撑爆的 ...
分类：
数据库 时间：
2019-09-19 23:40:19
阅读次数：
109
在CentOS中默认安装有MariaDB，这个是MySQL的分支，但为了需要，还是要在系统中安装MySQL，而且安装完成之后可以直接覆盖掉MariaDB。 1 下载并安装MySQL官方的 Yum Repository 使用上面的命令就直接下载了安装用的Yum Repository，大概25KB的样子 ...
分类：
数据库 时间：
2019-09-03 11:22:24
阅读次数：
140
背景 早期，阿里巴巴 B2B 公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求 ，主要是基于trigger的方式获取增量变更。从 2010 年开始，公司开始逐步尝试数据库日志解析，获取增量变更进行同步，由此衍生出了增量订阅和消费业务，从此开启一段新纪元。 当前的 canal 支持源端 My ...
分类：
数据库 时间：
2019-08-30 13:52:31
阅读次数：
315
package com.area.entity;import com.baomidou.mybatisplus.annotation.IdType;import com.baomidou.mybatisplus.annotation.TableField;import com.baomidou.my ...
分类：
数据库 时间：
2019-08-30 09:45:08
阅读次数：
234
a) 数据仓库（DW） 数据库 VS 仓库 数据库面向业务存储，仓库面向主题存储 数据库针对应用（OLTP），仓库针对分析（OLAP） 数据库组织规范，仓库可能有冗余，相对变化大，数据量大 b) 检测与抓取 c) 填写、埋点、日志 d) 计算 ...
分类：
其他好文 时间：
2019-08-27 21:04:45
阅读次数：
79
SELECT NAME, size FROM sys.database_files select name, recovery_model_desc from sys.databases alter database 数据库名称 set Recovery simpleDBCC SHRINKFILE( ...
分类：
数据库 时间：
2019-07-26 19:22:06
阅读次数：
108
前言 每当我们在生产环境服务器上执行rm命令时，总是提心吊胆的，因为一不小心执行了误删，然后就要准备跑路了，毕竟人不是机器，更何况机器也有bug，呵呵。 那么如果真的删除了不该删除的文件，比如数据库、日志或执行文件，咋办呢？欲知后事如何，请仔细看完本篇博客。 模拟场景 1、删除 误删除服务器目录/r ...
分类：
其他好文 时间：
2019-07-22 21:30:53
阅读次数：
130
