大批量插入数据： 当使用load 命令导入数据的时候，适当的设置可以提高导入的效率。 load data local infile '数据文件' into table '插入的表名' fields terminated by '数据分隔符' lines terminated by '换行符'; 对于 ...
分类：
数据库 时间：
2020-04-23 00:40:34
阅读次数：
100
1.场景：有大数据的数据需要放到首页统计，一般就是聚合、分组之类的，按照年月日进行查询和统计。如果数据量比较少，几十万数据 没什么问题。但是随着数据量的增多，查询速度越来越慢。这个时候就需要去优化了~ 刚开始自己的想法是这样的：使用多线程的方式，因为查询每天的数据量很少，那么是不是可以使用多线程的方 ...
分类：
数据库 时间：
2020-04-17 00:21:33
阅读次数：
161
项目用的ORM框架是用springdatajpa来做的，有些批量数据操作的话，用这个效率太低，所以用mybatis自己写sql优化一下。 一般情况，我们肯定是先查询，有就修改，没有就添加，这样的话，单个操作还好，如果是大量数据的话，每次都需要先查后改（如果用springdatajpa的话，添加之前还 ...
分类：
其他好文 时间：
2020-04-11 20:33:38
阅读次数：
442
场景：关联查询，一张主表关联4张表进行查询。主表数据量是16万，其中被关联的一张表的数量是6万。 遇到页面响应速度过慢的情况，首先考虑是否是sql查询缓慢引起的。 第一步开启mysql的慢查询日志(网上教程很多，本篇文章不再赘述) 第二步分析慢查询日志，这里要说下分析工具。常用的有两种，一是mysq ...
分类：
数据库 时间：
2020-04-02 16:09:21
阅读次数：
78
记一次sql优化 原代码 INSERT INTO DataAnalysis_HrmDataHistory (estate,lockstate,delestate,creator,created,modifier,modified,name,employeeCode,sex,department_id ...
分类：
数据库 时间：
2020-04-01 17:56:29
阅读次数：
96
from后的表名 oracle的解析器按照从右到左的顺序处理from子句中的表名 因此from子句中写在最后的表将被最先处理 在from 子句中包含多个表的情况下,你必须选择记录条数最少的表放在最后 例如： 表 TAB1 16384 条记录 表 TAB2 1 条记录 选择 TAB2作为基础表 (最好 ...
分类：
数据库 时间：
2020-03-28 16:10:40
阅读次数：
92
在进行MySQL的优化之前，必须要了解的就是MySQL的查询过程，很多查询优化工作实际上就是遵循一些原则，让MySQL的优化器能够按照预想的合理方式运行而已。 一、优化的哲学 注：优化有风险，涉足需谨慎 11、优化可能带来的问题？ 优化不总是对一个单纯的环境进行，还很可能是一个复杂的已投产的系统；优 ...
分类：
数据库 时间：
2020-03-27 14:27:22
阅读次数：
88
SQL优化 JVM优化 hashmap的原理 hashmap碰撞解决办法 mysql数据库隔离级别 mysql乐观锁和悲观锁 线程池的原理 知道哪些设计模式，如何使用 spring的原理 spring IOC和AOP synchronized关键字的作用，使用场景 synchronized和lock ...
分类：
编程语言 时间：
2020-03-25 23:49:41
阅读次数：
147
hive 优化 1、需要计算的指标真的需要从数据仓库的公共明细自行汇总吗？2、真的需要扫描那么多的分区么？3、尽量不要使用 select * from table这样的方式4、输入文件不要是大量的小文件 group by引起的倾斜优化: R:group by引起的倾斜主要是输入数据行按照group ...
分类：
数据库 时间：
2020-03-25 19:41:04
阅读次数：
90
以下为MS SQLSERVER慢查询排查方法： SqlServer 使用sys.dm_exec_query_stats查看开销较高的语句 SELECT TOP 10 total_worker_time / 1000 AS [自编译以来执行所用的CPU时间总量(ms)], total_elapsed_ ...
分类：
数据库 时间：
2020-03-22 15:34:58
阅读次数：
96
