继续回答知识星球水友提问。问题域:数据量大、并发量高场景,如何在流量低峰期,平滑实施表结构变更?画外音,一般来说,是指增加表的属性,因为:(1)如果是减column,升级程序不使用即可;(2)如果是修改column,程序兼容性容易出问题;首先,一起看下有哪些常见方案。方案一:在线修改表结构。画外音:altertableaddcolumn数据量大的情况下,锁表时间会较长,造成拒绝服务,一般不可行。方
分类:
数据库 时间:
2020-11-10 11:32:08
阅读次数:
12
一、pt-online介绍 pt-online-schema-change是percona公司开发的一个工具,在percona-toolkit包里面可以找到这个功能,它可以在线修改表结构 原理: 首先它会新建一张一模一样的表,表名一般是_new后缀 然后在这个新表执行更改字段操作 然后在原表上加三个 ...
分类:
其他好文 时间:
2020-03-14 21:59:03
阅读次数:
61
pt-online-schema-change可以在不影响正常业务的情况下, 对数据库表结构进行修改, 修改的速度根据数据量大小决定。是一个很值得学习的工具
分类:
其他好文 时间:
2018-03-30 13:19:29
阅读次数:
157
一 、背景介绍
近年来,TokuDB作为MySQL的大数据(Big Data)存储引擎受到人们的普遍关注。其架构的核心基于一种新的叫做分形树(Fractal Trees)的索引数据结构,该结构是缓存无关的,即使索引数据大小超过内存性能也不会下降,也即没有内存生命周期和碎片的问题。特别引人注意的是,TokuDB拥有很高的压缩比(官方称最大可达25倍),可以在很大的数据上创建大量的索引,并保持性能不下降。同时,TokuDB支持ACID和MVCC,还有在线修改表结构(Live Schema Modification)以及增加的复制性能等特性,使其在某些特定的应用领域(如日志存储与分析)有着独特的优势。
在TokuDB的应用场景中,通常是数据库插入操作的量远远大于读取的量,因而本此本测试是在公司生产库上增加一个从库,来体验下TokuDB的高压缩比和低存储占用率,而且在相同数据的情况下io使用率更优秀。
本测试是在生产环境中增加一个从库,来验证ToKuDB在大频率写入,小频率读的场景验证。
分类:
数据库 时间:
2017-12-14 19:30:53
阅读次数:
1298
OnlineSchemaChange是Facebook开源的在线修改表结构的工具,具体原理这里不多说了,有兴趣的同学可以看下官方文档:https://github.com/facebookincubator/OnlineSchemaChange/wiki这里主要介绍下在迁移的时候使用的情况,首先官网的OSC工具不支持主从同步,当时测试是在单库上..
分类:
数据库 时间:
2017-08-24 20:02:00
阅读次数:
169
当需要对表进行ddl操作如加索引、增删列时,数据量小时直接在线修改表结构影响不大当表达到百万、千万数据就不能直接在线修改表结构下面是具体的过程:1、备份数据select * from ih_order into outfile '/bak/order.txt';mysql> select * fro ...
分类:
数据库 时间:
2017-07-17 18:38:13
阅读次数:
393
MySQL在线修改表结构pt-osc重所周知MySQL的DDL操作操作是相比比较昂贵的。因为MySQL在修改表期间会阻塞任何读写操作。基本上业务处于瘫痪。如果数据量较大可能需要好几个小时才能完成,无法容忍这个操作。Percona开发了一系列的工具PerconaToolkit包,其中有一个工具pt-online-..
分类:
数据库 时间:
2017-06-07 21:47:10
阅读次数:
1785
gh-ost使用测试: gh-ost -host='192.168.65.136' -user=root -password='' -database='haha' -chunk-size=100000 -allow-on-master -execute -initially-drop-ghost- ...
分类:
数据库 时间:
2016-09-06 18:28:50
阅读次数:
1180
[root@BJ-ECS-XHM-TEST-YL-19bin]#./pt-online-schema-change--user=checksums--password=checksums--recursion-method="processlist"--alter="addcolumnbirth3int"h=10.50.12.33,P=3336,D=gaoquan,t=t1--executFound2slaves:BJ-ECS-XHM-TEST-YL-21.domain.comBJ-ECS-XHM-TEST-..
分类:
其他好文 时间:
2015-12-28 18:48:48
阅读次数:
137
用工具pt-online-scheme-change执行添加字段是报错,提示超时,在凌晨反复执行几次后都是在创建触发器的时候超时退出了,表并不是很大大概1000w数据执行语句:pt-online-schema-change--user=root--password='xxxxxx'--host=12...
分类:
其他好文 时间:
2015-08-28 23:04:47
阅读次数:
175