key 分布不均匀 业务数据本身的欠缺性 建表设计方法不对 有些 SQL 难免会有一下数据倾斜不可避免 表现的形式： 任务完成进度卡死在99%，或者进度完成度在100%但是查看任务监控，发现还是有少量（1个或几个）reduce 子任务未完成。因为其处理的数据量和其他 reduce 差异过大。单一re ...
分类：
其他好文 时间：
2021-06-18 19:56:57
阅读次数：
0
方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景: 适用于数据量较少的情况(元组百/千级) 原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2, ...
分类：
数据库 时间：
2021-06-18 19:51:23
阅读次数：
0
在sql server的like中%和下划线类似于通配符%，所以无法使用like '%%'来匹配，可以通过以下两种办法实现匹配 1、使用escape 来解决 like '%_%' escape '' like '%|_%' escape '|' 这里的escape就是将后面的字符指定为转义字符，可以 ...
分类：
数据库 时间：
2021-06-18 19:07:15
阅读次数：
0
案例四：封装共有操作 封装一个数据库的会话的类 点击查看详细代码 import java.sql.*; public class ConnectionUtil { /** * 获取连接对象的方法，返回一个Connection * 方法体中是共有操作：加载驱动，建立连接 */ public stati ...
分类：
数据库 时间：
2021-06-17 17:10:30
阅读次数：
0
插入数据，存在就更新，不存在就插入： insert into tablename (key1,key2,key3) values ('xxx','xxx','xxx') on conflict(key1) do update set key2 = 'yyy',key3 = 'yyy'; 修改表中的字 ...
分类：
数据库 时间：
2021-06-17 17:01:10
阅读次数：
0
1. redo log的概念是什么? 为什么会存在. 1. redo log是重做日志。主要用于MySQL异常重启后的一种数据恢复手段，确保了数据的一致性。归根到底是MySQL为了实现WAL机制的一种手段。因为MySQL进行更新操作，为了能够快速响应，所以采用了异步写回磁盘的技术，写入内存后就返回。 ...
分类：
数据库 时间：
2021-06-17 16:30:48
阅读次数：
0
declare @begin_date datetime declare @end_date datetime select @begin_date = getdate() -- sql 语句 放这里 select @end_date = getdate() select datediff(ms,@ ...
分类：
数据库 时间：
2021-06-16 18:22:04
阅读次数：
0
from pyspark.ml.linalg import Vector,Vectorsfrom pyspark.sql import Row,functionsfrom pyspark.ml.evaluation import MulticlassClassificationEvaluatorfr ...
分类：
其他好文 时间：
2021-06-16 18:19:18
阅读次数：
0
在谈SQL语句的执行流程之前，我们需要先知道MySQL的基础架构。 MySQL基础架构： 连接器： 身份认证和权限相关(登录 MySQL 的时候)。 查询缓存: 执行查询语句的时候，会先查询缓存（MySQL 8.0 版本后移除，因为这个功能不太实用）。 分析器: 没有命中缓存的话，SQL 语句就会经 ...
分类：
数据库 时间：
2021-06-16 18:14:44
阅读次数：
0
使用：pymysql.cursors.DictCursor 直接上代码 import pymysql db = pymysql.connect(host = "host", user = "user", password = "password", database = "database") cu ...
分类：
数据库 时间：
2021-06-16 18:09:26
阅读次数：
0
