当面对可能存在的大数据，不能把所有数据放在一张表里，否则会影响到查询效率，那么我们需要对数据库进行分表分区，例如一天一张表，当插入数据时，判断表是否存在，不存在则创建新表，并进行数据插入。 如果我们需要在程序中通过sql语句查询来获得存在的数据库，以及某个数据库的所有表名，可以这样写： #查询所有的 ...
分类：
数据库 时间：
2020-07-15 23:31:13
阅读次数：
130
整理自：https://mp.weixin.qq.com/s/8KTK_Bz8netP6R5MNSKeFw 搬运贴，如果有侵权请联系删除 场景：用户注册登录，用户中心服务查询 问题：当数据量越来越大，例如达到1亿注册量时，库无法承载所有的数据，此时需要对数据库进行水平切分。 常见的水平切分算法有“范 ...
分类：
其他好文 时间：
2020-07-15 15:26:15
阅读次数：
66
1.背景描述与现状问题 2.如何解决 2.1 垂直分库 2.2 垂直分表 2.3 水平分表 2.4 水平分库 3. 水平分库分表常见规则 4. 实战分析 5. 分库分表的注意事项 基于代理层方式:都属于服务器端的代理,我们程序只需连接这个代理，把它当成一台数据库就可以了。然后它进行分发处理，所以只需 ...
分类：
数据库 时间：
2020-07-14 18:49:00
阅读次数：
116
1、设计良好的数据库结构，允许部分数据冗余，尽量避免 join 查询，提高效率。 2、选择合适的表字段数据类型和存储引擎，适当的添加索引。 3、MySQL 库主从读写分离。 4、找规律分表，减少单表中的数据量提高查询速度。 5、添加缓存机制，比如 memcached，apc 等。 6、不经常改动的页 ...
分类：
数据库 时间：
2020-07-14 13:47:54
阅读次数：
75
B+树，经过优化的 B+树 主要是在所有的叶子结点中增加了指向下一个叶子节点的指针，因此 InnoDB 建 议为大部分表使用默认自增的主键作为主索引。 ...
分类：
其他好文 时间：
2020-07-14 13:34:08
阅读次数：
62
1. 前言：但数据库数据到达千万级别的时候，查询如果不按索引查就会非常慢，于是这里打算利用水平分表来优化一下查询，提高效率 2. 分表：取我当前表的某一列的前两个数字进行二级分表，将千万数据化分成十万。 -- 首先执行循环建表： create procedure sum1(a int) begin ...
分类：
数据库 时间：
2020-07-14 13:18:50
阅读次数：
90
问：分库分表之后，id 主键如何处理？ 面试官心理分析 其实这是分库分表之后你必然要面对的一个问题，就是 id 咋生成？因为要是分成多个表之后，每个表都是从 1 开始累加，那肯定不对啊，需要一个全局唯一的 id 来支持。所以这都是你实际生产环境中必须考虑的问题。 面试题剖析 基于数据库的实现方案 数 ...
分类：
其他好文 时间：
2020-07-14 10:35:50
阅读次数：
65
一 前言 中大型项目中，一旦遇到数据量比较大，小伙伴应该都知道就应该对数据进行拆分了。有垂直和水平两种。 垂直拆分 比较简单，也就是本来一个数据库，数据量大之后，从业务角度进行拆分多个库。如下图，独立的拆分出订单库和用户库。 水平拆分 是同一个业务数据量大之后，进行水平拆分 上图中订单数据达到了40 ...
分类：
其他好文 时间：
2020-07-14 00:18:56
阅读次数：
65
本文以SPSSAU系统为例，针对因子分析的常见问题进行汇总说明。 ①问题一：提取因子个数 提取因子的个数是一个综合选择的过程。默认是按“特征根大于1”作为因子提取的标准。 特征根不是唯一的判断标准。除此特征根，还可以通过累积方差贡献率、碎石图等指标综合判断。 如果分析前已经有了预期的维度（因子）划分 ...
分类：
其他好文 时间：
2020-07-13 13:30:53
阅读次数：
350
ShardingJDBC分库分表配置 #端口 server.port = 56082 #应用名 spring.application.name = shopping #该配置运行环境为本地，dev开发，qas测试，prd生产 spring.profiles.active = local #项目路径l ...
分类：
数据库 时间：
2020-07-12 16:36:20
阅读次数：
75
