目前 Spark SQL 不支持自定义UDF ,底层 SQL 引擎用的 catalyst 。
在SqlContext 中 有一个 Analyzer
@transient
protected[sql]
lazy
val
analyzer:
Analyzer =
new
Analyzer(catalog, Em...
分类:
数据库 时间:
2014-09-13 22:50:26
阅读次数:
339
sparkSQL1.1对数据的查询分成了2个分支:sqlContext 和 hiveContext。
在sqlContext中,sparkSQL可以使用SQL-92语法对定义的表进行查询,表的源数据可以来自:
RDDparquet文件json文件
在hiveContext中,sparkSQL可以使用HQL语法,对hive数据进行查询,sparkSQ...
分类:
数据库 时间:
2014-09-10 09:38:00
阅读次数:
406
定制spark让sql更简单,上个版本的start.scala用的是HiveContext,这个是SQLContext的,不需编译。...
分类:
数据库 时间:
2014-07-13 20:44:21
阅读次数:
330