方式一： 方式二： 第二种比较好。第二种的SQL执行效率高的主要原因是合并后日志量（MySQL的binlog和innodb的事务让日志）减少了，降低日志刷盘的数据量和频率，从而提高效率。 通过合并SQL语句，同时也能减少SQL语句解析的次数，减少网络传输的IO。当SQL指令送达MySQL服务器后，在 ...
分类：
数据库 时间：
2019-11-26 13:45:25
阅读次数：
80
1.准备 1.1.组件 JDK：1.8版本及以上； ElasticSearch：6.x版本，目前貌似不支持7.x版本； Canal.deployer：1.1.4 Canal.Adapter：1.1.4 1.1.配置 需要先开启MySQL的 binlog 写入功能，配置 binlog-format 为 ...
分类：
数据库 时间：
2019-11-09 13:33:22
阅读次数：
159
大数据时代下的数据同步 1）、基于数据库日志(比如mysql的binlog)的同步 我们都知道很多数据库都支持了主从自动同步，尤其是mysql，可以支持多主多从的模式。那么我们是不是可以利用这种思想呢，答案当然是肯定的，mysql的主从同步的过程是这样的。 ? A、master将改变记录到二进制日志 ...
分类：
其他好文 时间：
2019-11-02 15:49:16
阅读次数：
80
1. 实验环境 CPU:4 内存：8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C ...
分类：
数据库 时间：
2019-10-08 18:46:20
阅读次数：
292
mysql 的 binlog 日志 和slow慢日志 详解 mysql一般常用的日志有三种：1：error错误日志2: binlog日志3：slow日志 下面将详细解释这三种日志： 1、错误日志记录MySQL启动或工作过程中，数据库状态信息,默认就是开启的，数据路径下$hostname.err。也可 ...
分类：
数据库 时间：
2019-10-02 15:00:43
阅读次数：
153
用canal解析mysql的binlog，客户端client用的zookeeper的地址， 会报超时错误，主机ping 虚拟机（192.****.125）的也能ping的通，哪个大佬帮忙是看看是怎么回事？ ...
分类：
编程语言 时间：
2019-09-05 13:30:00
阅读次数：
116
转自链接：https://www.nowcoder.com/discuss/241930 1. synchronized的底层实现原理是什么 2. HashMap的扩容机制能讲解一下吗 3. mysql的binlog用过吗 4. final关键词修饰对象时，对象里面的属性能发生改变吗 5. 如何用R ...
分类：
其他好文 时间：
2019-09-02 19:30:29
阅读次数：
104
需要创建大量hdfs目录的原因：配置canal拿取mysql的binlog日志上传到hdfs目录。每一张表都需要一个hdfs目录，因此需要创建很多。 正常创建目录都是使用 hadoop fs -mkdir -p /aa/bb/01 少数目录可以这么创建，但是目录过多创建就会很慢，因为创建一个目录就需 ...
分类：
其他好文 时间：
2019-08-30 18:48:07
阅读次数：
73
.Binlog空间维护 一，显示当前的logs文件记录 show master logs; 二，清空n天前的日志，减少磁盘空间 PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 10 DAY); 三，更改配置文件，指定binlog过期日 ...
分类：
数据库 时间：
2019-07-10 10:45:36
阅读次数：
141
mysql的binlog日志介绍Binlog是mysql以二进制形式打印的日志，它默认不加密，不压缩。binlog二进制日志包含了所有更新了数据或者已经潜在更新了数据（例如，没有匹配任何行的一个DELETE）的所有语句。语句以“事件”的形式保存，它描述数据更改文件位置和格式：当用--log-bin[... ...
分类：
数据库 时间：
2019-07-03 20:18:31
阅读次数：
141
