用户自定义函数（UDF）是大多数SQL环境的一个关键特性，其主要用于扩展系统的内置功能。UDF允许开发人员通过抽象其低级语言实现在更高级语言（如SQL）中应用的新函数。ApacheSpark也不例外，其为UDF与SparkSQL工作流集成提供了各种选项。在本篇博文中，我们将回顾Python、Java和Scala上的ApacheSparkUDF和UDAF（用户自定义的聚合函数）实现的简单示例。我们还
分类：
Web程序 时间：
2019-06-14 12:32:46
阅读次数：
131
讨论QQ：1586558083 目录 一、概述 二、Spark-SQL脚本 正文 回到顶部 一、概述 SparkSQL 的元数据的状态有两种： 1、in_memory,用完了元数据也就丢了 2、hive , 通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。 换句话说 ...
分类：
数据库 时间：
2019-06-11 13:32:05
阅读次数：
218
讨论QQ：1586558083 目录 一、SparkSQL的进化之路 二、认识SparkSQL 2.1 什么是SparkSQL? 2.2 SparkSQL的作用 2.3 运行原理 2.4 特点 2.5 SparkSession 2.7 DataFrames 三、RDD转换成为DataFrame 3. ...
分类：
数据库 时间：
2019-06-11 12:41:29
阅读次数：
145
讨论QQ：1586558083 在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User- Defined Aggregation Funcatio ...
分类：
数据库 时间：
2019-06-11 12:40:45
阅读次数：
126
解决SparkSQL部分报错
一、Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException:
The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the
CLASSPATH. Please check your CLASSPATH specification,
and the name of the driver.
二、Caused by: java.sql.SQLException: No suitable driver found for
jdbc:mysql://192.168.1.201:3306/hiveDB?createDatabaseIfNotExist=true
分类：
数据库 时间：
2019-05-21 22:40:25
阅读次数：
1664
SparkSql 是架构在 Spark 计算框架之上的分布式 Sql 引擎，使用 DataFrame 和 DataSet 承载结构化和半结构化数据来实现数据复杂查询处理，提供的 DSL可以直接使用 scala 语言完成 Sql 查询，同时也使用? thriftserver 提供服务化的 Sql 查询功能。
分类：
数据库 时间：
2019-05-17 09:32:42
阅读次数：
200
大数据数据仓库-基于大数据体系构建数据仓库（Hive，Flume，Kafka，Azkaban，Oozie，SparkSQL） ...
分类：
数据库 时间：
2019-05-12 13:36:39
阅读次数：
163
一、下载Spark安装包 1、从官网下载 http://spark.apache.org/downloads.html 2、从微软的镜像站下载 http://mirrors.hust.edu.cn/apache/ 3、从清华的镜像站下载 https://mirrors.tuna.tsinghua.e ...
分类：
其他好文 时间：
2019-05-07 21:36:24
阅读次数：
192
自定义sparkSQL数据源的过程中，需要对sparkSQL表的schema和Hbase表的schema进行整合； 对于spark来说，要想自定义数据源，你就必须得实现这3个接口： 所以，如果对接Hbase的话，就定义一个Hbase的relation case class HBaseRelation ...
分类：
数据库 时间：
2019-05-02 00:24:42
阅读次数：
189
