码迷,mamicode.com
首页 > 数据库 > 详细

MySQL优化

时间:2019-11-09 11:59:27      阅读:76      评论:0      收藏:0      [点我收藏+]

标签:提高   update   信息   运动   键值对   参数配置   分库分表   操作   sql   

SQL优化背景

开发项目上线初期,由于业务数据量相对较少,一些SQL的执行效率对程序运行效率的影响不太明显,而开发和运维人员也无法判断SQL对程序的运行效率有多大,故很少针对SQL进行专门的优化,而随着时间的积累,业务数据量的增多,SQL的执行效率对程序的运行效率的影响逐渐增大,此时对SQL的优化就很有必要。

  • SQL优化发生在业务量达到一定规模的时候
  • 目的是优化SQL的执行效率

MySQL 优化

优化范围

  • 硬件资源
  • 操作系统参数,数据库参数配置
  • SQL语句,索引优化

SQL优化

  • 数据库设计优化【规范,前期设计】
  • SQL语句优化
  • 索引优化
  • 读写分离,分库分表

慢查询语句

慢查询:10s无返回结果,定义为慢查询

SHOW STATUS LIKE "slow_queries";
SHOW VARIABLES LIKE "long_query_time";//可以显示当前慢查询时间

set long_query_time=1 ;//可以修改慢查询时间

常用优化方法

查询优化

  • 避免全表扫描(考虑在 where 及 order by 涉及的列上建立索引)

  • 尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描

    select id from t where num is null    
    可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:    
    select id from t where num=0    
  • 应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描

  • 应尽量避免在 where 子句中使用 or 来连接条件,否则将导致引擎放弃使用索引而进行全表扫描

    select id from t where num=10 or num=20    
    可以这样查询:    
    select id from t where num=10    
    union all    
    select id from t where num=20    
  • in 和 not in 也要慎用,否则会导致全表扫描

    select id from t where num in(1,2,3)    
    对于连续的数值,能用 between 就不要用 in 了:    
    select id from t where num between 1 and 3    
  • 应尽量避免在 where 子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描

    select id from t where num/2=100    
    应改为:    
    select id from t where num=100*2    
  • 应尽量避免在where子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描

    select id from t where substring(name,1,3)='abc'--name以abc开头的id    
    应改为:    
    select id from t where name like 'abc%'    
  • 很多时候用 exists 代替 in 是一个好的选择

    select num from a where num in(select num from b)    
    用下面的语句替换:    
    select num from a where exists(select 1 from b where num=a.num)    
  • 索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率(5)

  • 尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销

  • 尽可能的使用 varchar 代替 char ,因为首先变长字段存储空间小,可以节省存储空间

  • 任何地方都不要使用 select * from t ,用具体的字段列表代替“*”,不要返回用不到的任何字段

  • 尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写

后记——了解MySQL索引

什么是索引?

索引是一种数据结构,具体表现在查找算法上。

索引分为主键索引和辅助索引,辅助索引又分为唯一性索引,普通索引,复合索引,覆盖索引。

索引的本质:以空间换时间。

索引目的

提高查询效率

【类比字典和借书】

如果要查“mysql”这个单词,我们肯定需要定位到m字母,然后从下往下找到y字母,再找到剩下的sql。如果没有索引,那么你可能需要把所有单词看一遍才能找到你想要的。

去图书馆借书也是一样,如果你要借某一本书,一定是先找到对应的分类科目,再找到对应的编号,这是生活中活生生的例子,通用索引,可以加快查询速度,快速定位。

二叉树

每个节点最多含有两个子树的树称为二叉树。

二叉查找树ADT Tree

左子树的键值小于根的键值,右子树的键值大于根的键值。

平衡二叉树AVL Tree

在符合二叉查找树的条件下,还满足任何节点的两个子树的高度最大差为1。

BTree

BTree也称为平衡多路查找树

B-Tree是为磁盘等外存储设备设计的一种平衡查找树。

技术图片

B+Tree

B+Tree是在B-Tree基础上的一种优化

  • 非叶子结点只存储键值信息,不存储数据
  • 所有的叶子结点都有一个链指针
  • 数据记录都存放在叶子结点中

技术图片

----------------2019/10/9

参考《MySQL DBA工作笔记》中杨建荣老师举得一个非常形象的例子:

“比如某公司里面有一个开发小组,组长管理一些程序员,自己也参与开发工作”——B树

“扁平化管理,彼此之间都是平行的,换句话说就是指责分离,组长不再敲代码了,专注于管理”——B+树

B树的非叶子节点同样担任着存储信息的功能,而在B+树中只有叶子节点存储信息。

MySQL默认使用B+Tree索引

索引本身也很大,所以存储在磁盘中,需要加载到内存中执行。

故:索引结构优劣标准:磁盘I/O次数


BTree是为了充分利用磁盘预读功能而创建出来的一种数据结构。

局部性原理和磁盘预读

局部性原理:当一个数据被用到,其附近的数据很可能会马上用到

磁盘预读:由于存储介质的特性,磁盘本身存取就比主存慢很多,再加上机械运动耗费,磁盘的存取速度往往是主存的几百分分之一,因此为了提高效率,要尽量减少磁盘I/O。为了达到这个目的,磁盘往往不是严格按需读取,而是每次都会预读,即使只需要一个字节,磁盘也会从这个位置开始,顺序向后读取一定长度的数据放入主存。


为什么平衡二叉树无法利用磁盘预读功能而BTree可以?

平衡二叉树也称为红黑数,在逻辑上是平衡二叉树,但是在物理存储上使用的是数组,逻辑上相近的节点可能在物理上相差很远。


BTree如何利用磁盘预读功能?

将节点大小设为等于一个页,BTree新建节点时,也是按照页为单位申请,同时计算机存储分配也是按页对齐,那么一个节点只需一次IO就可以读取全部节点数据。

【如果节点大小和BTree大小不对齐,那么同一页节点可能需要两次IO读取】

综上所述,用B-Tree作为索引结构效率是非常高的。


为什么B+Tree比BTree更适合作为索引结构?

BTree解决了磁盘IO的问题但没有解决元素遍历复杂的问题。

B+Tree的叶子节点用链指针相连,极大提高区间访问速度。【比如查询50到100的记录,查出50后,顺着指针遍历即可】

为什么不使用Hash索引而使用B+Tree索引?

Hash索引本质上是Hash表,是一种KV键值对的存储结构。

无法提高区间访问速度。

B+Tree的叶子结点可以存哪些东西?

可能是整行数据,也可能是主键的值。

前者被称为聚簇索引,后者称为非聚簇索引。

聚簇索引更快!!!

为什么???聚簇索引已经查到整行数据了,而非聚簇索引还可能根据主键值再进行查询一次。

例外:覆盖索引——数据直接从索引中取得。

MySQL优化

标签:提高   update   信息   运动   键值对   参数配置   分库分表   操作   sql   

原文地址:https://www.cnblogs.com/noneplus/p/11824589.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!