一、知识梳理1.1、背景表结构1.1.1、order by1.1.2、sort by1.1.3、distribute by1.1.4、cluster by1.2、行转列、列转行（UDAF 与 UDTF）1.2.1、行转列1.2.2、列转行1.3、建表时的数组操作1.4、orc 存储1.5、Hive ...
分类：
其他好文 时间：
2019-03-03 09:41:48
阅读次数：
209
0. 说明 UDF //user define function //输入单行，输出单行，类似于 format_number(age,'000') UDTF //user define table-gen function //输入单行，输出多行，类似于 explode(array); UDAF / ...
分类：
其他好文 时间：
2019-02-08 10:34:06
阅读次数：
159
1、sparksql的概述（1）sparksql的介绍： SparkSQL是Spark用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通过RDD获取）的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 外部的结构化数据源包括JSON、Parquet(默认)、RMDBS、Hive等。当前SparkSQL使
分类：
数据库 时间：
2019-01-05 13:37:33
阅读次数：
251
一. 自定义函数分类 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数. 根据用户自定义函数类别分为以下三种： 1. UDF（User-Defined-Function） 一进一出 2. UDAF（User-Defined Aggregation Function ...
分类：
其他好文 时间：
2018-12-21 21:17:11
阅读次数：
196
一 ，自定义函数的类别 UDF 作用于单个数据行，产生一个数据行作为输出。（数学函数，字符串函数） UDAF（用户定义聚集函数）：接收多个输入数据行，并产生一个输出数据行。（count，max） 二，UDF开发实例 1，开发一个Java类，继承UDF，并重载evaluate方法（手动重载）。 2，打 ...
分类：
其他好文 时间：
2018-10-25 00:19:26
阅读次数：
182
函数分类 UDF(User Defined Function)：数据一对一 UDAF(User Defined Aggreation Function)：数据多对一 UDTF(User Defined Table Generating Function)：数据一对多 group by / sort ...
分类：
其他好文 时间：
2018-10-14 00:15:33
阅读次数：
194
一、词义解析 UDF(User-Defined-Function) 一进一出 UDAF（User- Defined Aggregation Funcation） 多进一出 （聚合函数，MR） UDTF(User-Defined Table-Generating Functions) 一进多出（生成多 ...
分类：
其他好文 时间：
2018-09-23 18:25:08
阅读次数：
185
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User- Defined Aggregation Funcation），用户自定义聚合函数，类似在 ...
分类：
数据库 时间：
2018-07-14 00:53:49
阅读次数：
196
定义： UDF(User-Defined-Function)，用户自定义函数对数据进行处理。 UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。 UDAF(User Defined A ...
分类：
其他好文 时间：
2018-07-10 01:15:51
阅读次数：
192
