标签:ber style rom 数据 分组 log ack led 总结
最近碰到一个测试需求,使用到了在线分析处理(OLAP),现总结记录一下,也希望能帮到有相关问题的朋友。
1. 测试环境是DB2,通过ETL(数据抽取,数据转换,数据加载)技术将数据源数据加载到目标数据仓库。
2. 需求大概意思:验证能否将包含制定商品编码的订单从数据源加载到目标数据库。
3. 目标数据来源于7个不同的应用数据库,每个应用数据库都存储商品编码组相应的订单,其中的50个商品编码相关的订单需要加载到目标仓库。
分析需求后我们得到测试的方法:
1. 在源数据库查询样本订单数据,取得其中所有包含在50个制定商品编码的订单,每个商品编码2条数据用来验证。
2. 通过常规的SQL,我们对订单按照商品编码分类,可以得到Max函数得到最新创建的订单,但这个方法每个商品编码只能得到一条数据,如果需要得到2条,10条数据呢?SQL就感到很吃力了。现在我们可以引入OLAP函数,简单高效的达到业务目标。
1 SELECT * FROM 2 (SELECT 3 DISTINCT RTRIM(A.RECORD_ID),RTRIM(A.PO_ID),RTRIM(A.ANT_ID),B.CAT_ID,B.EXTRACT_DT,ROW_NUMBER()OVER(PARTITION BY B.CAT_ID ORDER BY B.EXTRACT_DT DESC)RN 4 5 FROM 6 --retreve 100 POs for each CAT_ID for last year from BDW 7 (SELECT RECORD_ID,PO_ID,CAT_ID,EXTRACT_DT,ANT_ID FROM TEAME.PO_ITEM 8 WHERE CAT_ID IN (‘4Q6‘, ‘4W8‘, ‘S86‘, ‘S89‘, ‘QU39‘, ‘U4Q0‘, ‘UQ41‘, ‘UQ43‘, ‘U89‘, ‘W24‘, ‘YQ44‘, ‘QY45‘, ‘QY50‘, ‘Y5Q1‘, ‘E0W4‘, 9 ‘W72‘, ‘8Q3‘, ‘0W3‘,‘Q75‘,‘73‘, ‘P74‘, ‘75‘, ‘P76‘, ‘77E‘, ‘P78‘,‘E03‘, ‘E05‘, ‘E06‘, ‘E07‘, ‘ED8‘ 10 , ‘WW9‘, ‘E37‘, ‘WW0‘, ‘DD3‘, ‘DS3‘, ‘E65‘, ‘7S4‘, ‘45‘, ‘CA1‘, ‘0QS4‘, ‘W31‘, ‘64‘, ‘9A4‘, ‘Y95‘, ‘QY96‘) 11 --AND DATE(EXTRACT_DT) >= DATE(CURRENT_DATE - 365 DAYS) AND DATE(EXTRACT_DT) <= DATE(CURRENT_DATE) 12 )B, 13 IP.COM C, 14 TEAME.PO_IA POIA, 15 TEAME.PO A 16 17 LEFT OUTER JOIN TEAME.P_G_M D 18 ON 19 D.RECORD_ID = A.RECORD_ID AND 20 D.PRCHORG_ID = A.PRCHORG_ID AND 21 D.PRCHGRP_ID = A.PRCHGRP_ID AND 22 D.PRCHMEM_UNIQ_ID = A.PRCHMEM_UNIQ_ID 23 24 WHERE 25 A.RECORD_ID = B.RECORD_ID AND 26 A.PO_ID = B.PO_ID AND 27 A.ANT_ID = B.ANT_ID AND 28 A.RECORD_ID = POIA.RECORD_ID AND 29 30 A.PO_ID = POIA.PO_ID AND 31 B.CAT_ID = C.CORPCOMMCODE AND 32 (COMGROUP IN (‘J‘, ‘D‘) 33 OR POIA.LEDGACCT_MINOR_NUM IN (‘123‘,‘422‘,‘1‘,‘21‘,‘324‘,‘123‘,‘442‘,‘123‘,‘FDF‘,‘FD‘)) 34 AND A.RECORD_ID > ‘ ‘ 35 AND DATE(A.EXTRACT_DT) >= DATE(CURRENT_DATE - 365 DAYS) AND DATE(A.EXTRACT_DT) <= DATE(CURRENT_DATE))RN 36 WHERE RN=1 37 WITH UR;
接下我们主要来看这一句:ROW_NUMBER()OVER(PARTITION BY B.CAT_ID ORDER BY B.EXTRACT_DT DESC)RN
ROW_NUMBER()这个函数是用来给查询结果集编号,
OVER是一个表达式,它的作用是定义一个作用域(或者可以说是结果集),OVER前面的函数只对OVER定义的结果集起作用,
PARTITION BY用来给结果集分组, 和group by一样。
ORDER BY对分组后子组按某列排序。
最后用条件WHERE RN=2得到买个分组后的每个小组的前两行。
除了这个函数,我们可以扩展一下,了解下其他常用函数:
rank()是跳跃排序,有两个第二名时接下来就是第四名(同样是在各个分组内).
dense_rank()l是连续排序,有两个第二名时仍然跟着第三名。
相比之下row_number是没有重复值的,每组内部排序后的顺序编号(组内连续的唯一的)。
FIRST_VALUE,用来求OVER 定义集合的最小值
LAST_VALUE,用来求OVER 定义集合的最大值。值得注意的是这两个函数有个参数,‘IGNORE NULLS‘ 或 ‘RESPECT NULLS‘,用来忽略NULL值和考虑NULL值
OLAP所有其他函数:
ROW_NUMBER
RANK
DENSE_RANK
FIRST_VALUE
LAST_VALUE
LAG
LEAD
COUNT
MIN
MAX
AVG
SUM
ROW_NUMBER
RANK
DENSE_RANK
FIRST_VALUE
LAST_VALUE
LAG
LEAD
COUNT
MIN
MAX
AVG
SUM
标签:ber style rom 数据 分组 log ack led 总结
原文地址:http://www.cnblogs.com/clarke157/p/6575788.html