原表为： 一、分区函数Partition By的与row_number()的用法 1、不分班按学生成绩排名 执行结果： 2、分班后按学生成绩排名 执行结果： 3、获取每个班的前1(几)名 执行结果： 二、分区函数Partition By与排序rank()的用法 1、分班后按学生成绩排名 该语句是对分 ...
分类：
其他好文 时间：
2019-01-08 15:05:05
阅读次数：
176
什么是表分区？ 表分区分为水平表分区和垂直表分区，水平表分区就是将一个具有大量数据的表，进行拆分为具有相同表结构的若干个表；而垂直表分区就是把一个拥有多个字段的表，根据需要进行拆分列，然后根据某一个字段进行关联。 表分区分为以下五个步骤： 1、创建文件组 2、创建数据文件 3、创建分区函数 4、创建 ...
分类：
数据库 时间：
2018-10-19 21:55:12
阅读次数：
178
hadoop开发中我们会遇到类似这样的问题，比如 如何将不同省份的手机号分别输出到不同的文件中，本片文章将对hadoop内置的Partition类进行重写以解决这个问题。 MapReduce的使用者通常会指定Reduce任务和Reduce任务输出文件的数量（R）。用户在中间key上使用分区函数来对数 ...
分类：
其他好文 时间：
2018-07-04 16:12:17
阅读次数：
137
//分区函数CREATE DEFINER=`root`@`%` FUNCTION `query_str`() RETURNS varchar(2000) CHARSET utf8BEGIN DECLARE start_date date DEFAULT '2018-05-17'; DECLARE r ...
分类：
数据库 时间：
2018-06-16 18:45:35
阅读次数：
231
我们知道，如果我们使用mysql，当数据库数据量达到一定数据量之后，会考虑对数据库进行分库分表等操作，但是在什么情况下做怎么的切分，下面分表介绍。 一、分库 1 分库原因 首先，在单台数据库服务器性能足够的情况下，分库对于数据库性能是没有影响的。在数据库存储上，database只起到一个namesp ...
分类：
数据库 时间：
2018-06-16 18:44:16
阅读次数：
223
目录 一、关于Reducer全排序 1.1、 什么叫全排序 1.2、 分区的标准是什么 二、全排序的三种方式 2.1、 一个Reducer 2.2、 自定义分区函数 2.3、 采样 一、关于Reducer全排序 1.1、什么叫全排序？ 在所有的分区（Reducer）中，KEY都是有序的： 正确举例： ...
分类：
编程语言 时间：
2018-05-28 10:10:14
阅读次数：
294
Spark RDD 1、课程目标 1、掌握RDD的原理 2、熟练使用RDD的算子来完成计算任务 3、掌握RDD的宽窄依赖 4、掌握RDD的缓存机制 5、掌握划分stage 1、掌握RDD的原理 2、熟练使用RDD的算子来完成计算任务 3、掌握RDD的宽窄依赖 4、掌握RDD的缓存机制 5、掌握划分s ...
分类：
其他好文 时间：
2018-04-29 01:24:27
阅读次数：
159
http://www.cnblogs.com/zhijianliutang/archive/2012/10/28/2743722.html 我们数据量比较大的时候，我们需要将大型表拆分为多个较小的表，则只访问部门数据的查询就可以更快的运行，基本原理就是，因为要扫描的数据变的更小。维护任务（例如，重新 ...
分类：
数据库 时间：
2018-02-14 14:38:25
阅读次数：
277
https://www.cnblogs.com/knowledgesea/p/3696912.html 继续看这个文档 http://www.360doc.com/content/16/0104/11/22743342_525336297.shtml SQL Server表分区 什么是表分区 一般情 ...
分类：
数据库 时间：
2018-02-14 12:54:21
阅读次数：
251
介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并 ...
分类：
其他好文 时间：
2018-01-25 18:15:49
阅读次数：
166
