码迷,mamicode.com
首页 > 数据库 > 详细

分库分表和数据库分片方案

时间:2019-09-21 19:24:32      阅读:101      评论:0      收藏:0      [点我收藏+]

标签:数据库数据   16进制   索引   空间   一个   缓存   查询语句   分布式   频繁   

分库分表和数据库分片方案

数据库数据量达到千万级别时查询效率会很低,分库分表是一种很有效的解决方案。

垂直划分和水平划分

垂直划分:垂直划分又分为垂直分库和垂直分表两种,垂直分库就是将关联度低的各种表放在不同的数据库中,垂直分表是针对表的列进行的,将字段拆到其他表中形成新表,这样表的记录就会变小,索引就会降低空间消耗,提升性能。垂直划分业务逻辑清晰便于管理,提升高并发性能,但是表无法连接查询,涉及分布式事务技术,且不能从本质上减少表的大数据量,还需要借助水平划分。

水平划分:分为分库分表和库内分表,库内分表由于还是共用cpu和IO提升不明显,将表的记录按照一定的逻辑分散到多个数据库多个表中,水平划分彻底解决了大表问题,但还是存在连接查询不方便,需要引入分布式事务等缺点。

水平划分的数据分片规则主要有两种:首先是根据不同的时间分库,比如每一天的数据生成一个数据库,或者冷热数据分离,根据数据查询的频率分库,其次是根据某个字段计算hash值来划分,但容易面临复杂的查询问题,如果查询语句中不涉及该字段将导致无法直接定位到数据库。

分库分表带来的问题

1、分布式事务:跨库事务操作,分布式事务需要协调多个节点,延长了事务的执行时间,并发访问发生冲突和死锁的概率增高,对事务一致性要求不高的系统可以不苛求实时一致性,而追求最终一致性即可,也就是事务补偿:对数据检查,日志对比等。

(分布式事务产生的原因可能是因为分库分表,也可能是因为应用SOA化)

2、连接查询问题

解决方案有:使用全局表(将各模块都有可能依赖的表在每个数据库都保存一份)、字段冗余(一种反范式设计,根据连接查询业务将要连接查询的信息加入表中)、数据组装(将连接查询拆分成两次)、将关联的表放在一起、频繁的连接查询可以建立对应的映射表

复杂的查询还可能用到基因法:

假如要用name查id但是不知道id在哪个库中,可以让name在设计时就跟随一个标记,可以根据这个标记或者标记计算出来的hash值直接拿到id所在的库位置

3、跨节点分页、排序、函数

都要在各自的表中执行一遍,然后将结果汇总起来再执行一遍

4、全局主键避重问题

可以用uuid(生成一个32个16进制数字)、用一个特殊的表生成主键(设置成自增,每次取出这个值)、建立多个ID生成服务器(第一个产生1、3/5、。。。第二个2/4/6.。)、还可以利用缓存(每次只通过表生成一个ID,然后将ID拓展多个值放在内存中等待取用,然后取用完毕继续生成)、根据实际业务设计一个根据时间生成的字符串(精确到毫秒位,每一个毫秒再设计1000个独立数)

5、数据扩容和迁徙

如果是根据主键范围分库的话,扩容很简单,如果是哈希取模分片,那就要用到一致性hash

分片方案

数据库分片的逻辑可以封装在应用端的持久层,也可以在应用和数据之间加一层代理,在中间件中维护分片逻辑。

分库分表和数据库分片方案

标签:数据库数据   16进制   索引   空间   一个   缓存   查询语句   分布式   频繁   

原文地址:https://www.cnblogs.com/shizhuoping/p/11563948.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!