码迷,mamicode.com
首页 > 其他好文 > 详细

常用的分表分库方案

时间:2020-04-12 18:19:04      阅读:78      评论:0      收藏:0      [点我收藏+]

标签:参考   auto   业务   拆分   style   根据   sql   将不   网络io   

什么是数据库的瓶颈?

  IO瓶颈和CPU瓶颈都会导致数据库的活跃连接数增加,临近数据库可承载活跃连接数的阀值,即可用的数据库连接少甚至无连接可用(崩溃)。

如何应对IO瓶颈?

  ①磁盘读IO瓶颈,数据太多,数据库缓存放不下,每次查询会产生大量的IO导致查询速度低 -> 可考虑分库和垂直分表。

  ②网络IO瓶颈,请求数据过多,网络带宽不够 -> 可考虑分库。

如何应对CPU瓶颈?

  ①SQL查询语句不当,非索引查询过多,导致CPU运算增加  -> 优化SQL。

  ②单标数据量过大,查询扫描行过多,SQL效率低 -> 水平分表

什么是水平分库?

  水平分库是以字段为依据,根据一定的策略,将一个表中的数据拆分到多个库中。

  水平分库结果:

    • 每个库的结构一样
    • 每个库的数据不一样,没有交集
    • 所有库并集是全量数据

  使用场景:系统绝对并发量上来,分表难以根本上解决问题。分库后库多了,IO和CPU的压力得到成倍的缓解。

技术图片

什么是水平分表?

  水平分表,以字段为依据,按照一定的策略,将一个表中的数据拆分到多个表中。

  水平分表结果:

    • 每个表的结构一样
    • 每个表的数据不一样,没有交集
    • 所有表的并集是全量数据

  使用场景:系统绝对并发量没有上来,只是单标数据量太多,影响了SQL效率,加重了CPU负担(CPU瓶颈)。分表后,表的数据量少了,单次SQL执行效率高,减轻了CPU的负担。

技术图片 

什么是垂直分库?

  垂直分库,是以表为依据,按照业务归属不同,将不同的表拆分到不同的库中。

  分库结果:

    • 每个库的结构不一样
    • 每个库的数据不一样,没有交集
    • 所有库的并集是全量数据

  使用场景:系统绝对并发量上来了,并且可以抽象出单独的业务模块。分库后库多了,IO和CPU的压力得到成倍的缓解。到这一步后基本可以服务化了。

技术图片

 

 

什么是垂直分表?

  垂直分表,以字段为依据,按照字段的活跃性,将表中的字段拆到不同的表中(主表和拓展表)。

  分表结果:

    • 每个表的结构不一样
    • 每个表的数据不一样,但每个表的字段至少有一列交集,用于关联数据
    • 所有表的并集是全量数据

  使用场景:系统的绝对并发量没有上来,表的记录不多,但是字段多,并且热点数据和非热点数据在一起,单行数据所需的存储空间大,查询时会去读磁盘数据产生大量的读IO,产生IO瓶颈。

  

技术图片

 

 

 

以上参考来自https://mp.weixin.qq.com/s/ZMBwLp8kNuFuylBOslPL4A

常用的分表分库方案

标签:参考   auto   业务   拆分   style   根据   sql   将不   网络io   

原文地址:https://www.cnblogs.com/smallzhen/p/12686426.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!