1、什么是表分区？ mysql数据库中的数据是以文件的形势存在磁盘上的，默认放在/mysql/data下面（可以通过my.cnf中的datadir来查看），一张表主要对应着三个文件，一个是frm存放表结构的，一个是myd存放表数据的，一个是myi存表索引的。如果一张表的数据量太大的话，那么myd,m ...
分类：
数据库 时间：
2021-06-09 10:32:43
阅读次数：
0
表空间是指磁盘上的一块存储区域，用来存放表。 使用范围分区法对数据量大的表进行分区，分区存放到不同的表空间。 范围分区就是用表中的某个字段值的范围进行分区。 比如： 1）用数值型的id字段,id<100000的在第1个分区，100000<=id<200000的在第二个分区。 2）用日期类型的字段，2 ...
分类：
数据库 时间：
2019-12-30 14:24:31
阅读次数：
112
分区并不影响Linq,sql查询 在MSSQL中，选中目标表，右键 存储 创建分区 根据提示完成分区，存储成sql 这里展示如何根据Id的数据范围分区 在执行前，可能需要设置日志文件大小为“无限制”，否则执行过程中可能出现 的报错 sql 其实就是写个生成字符串列表（数据范围）的函数 DECLARE ...
分类：
数据库 时间：
2019-12-17 15:32:05
阅读次数：
114
目的，有一个清理数据的需求，需要删除历史的一个分区所有记录信息，但是存在主键global索引,如何更好的维护。 如下测试流程一 提前创建好一个已时间created 字段作为分区键的范围分区表 ...
分类：
其他好文 时间：
2019-11-25 20:29:30
阅读次数：
128
典型使用场景 随着使用时间的增加，数据库中的数据量也不断增加，因此数据库查询越来越慢。 加速数据库的方法很多，如添加特定的索引，将日志目录换到单独的磁盘分区，调整数据库引擎的参数等。这些方法都能将数据库的查询性能提高到一定程度。 对于许多应用数据库来说，许多数据是历史数据并且随着时间的推移它们的重要 ...
分类：
数据库 时间：
2019-05-18 09:39:11
阅读次数：
460
先上Demo 返回查询结果正确 现象 修改查询的SQL，返回的数据量不对。 原因 在触发Action的时候，Task在每个分区上的业务逻辑是相同的（id >= ? and id < ?"），只是读取的数据和处理的数据不一样。RDD根据数据量和分区数据，均匀地分配每个分区Task读取数据的范围。 分区 ...
分类：
数据库 时间：
2019-04-06 09:39:09
阅读次数：
338
title: 不懂SQL优化？那你就OUT了(十) MySQL如何优化-- 分区（二）-- RANGE 分区 date: 2019-01-05 categories: 数据库优化 上篇博客我们讨论了分区的概述，优点和分区的类型。 这篇我们将更详细的讨论分区的类别： ###RANGE 分区 按范围分区 ...
分类：
其他好文 时间：
2019-01-18 17:26:47
阅读次数：
253
title: 不懂SQL优化？那你就OUT了(十一) MySQL如何优化-- 分区（三）-- LIST 分区 date: 2019-01-12 categories: 数据库优化 这编博客我们将谈论一下LIST分区 ##LIST分区（列表分区） MySQL中的列表分区在许多方面与范围分区类似，与范围 ...
分类：
其他好文 时间：
2019-01-18 17:26:02
阅读次数：
171
一、kudu概念 Apache Kudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展，使用Raft协议进行一致性保证，并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结合紧密。 这是一个为块数 ...
分类：
数据库 时间：
2019-01-14 00:19:03
阅读次数：
980
（1）数据倾斜的介绍 1）数据分区的策略： -随机分区：每一个数据分配的任意一个分区的概率是均等的 -Hash分区：使用数据的Hash分区值，%分区数。（导致数据倾斜的原因） -范围分区：将数据范围划分，数据分配到不同的范围中（分布式的全局
分类：
其他好文 时间：
2019-01-04 12:26:40
阅读次数：
199
