开发环境：spark：2.2.0 工具：IDEA OS:Windows 数据文件： 本次所有示例的函数有： Start 注：在使用函数的时候最好要导入org.apache.spark.sql.functions._这个包 import ssc.implicits._（这个包在实际写sql的时候将其导 ...
分类：
数据库 时间：
2018-09-20 01:05:57
阅读次数：
903
spark sql快速入门主要内容有：Spark SQL前世今生（Hive&Shark、Shark&SparkSQL）、简介（SQL和DataFrame/DataSet）、DataFrame与DataSet创建及操作、SQL操作。
分类：
数据库 时间：
2018-09-10 00:58:33
阅读次数：
257
Spark SQL支持多种结构化数据源，轻松从各种数据源中读取Row对象。这些数据源包括Parquet、JSON、Hive表及关系型数据库等。当只使用一部分字段时，Spark SQL可以智能地只扫描这些字段，而不会像hadoopFile方法一样简单粗暴地扫描全部数据。SparkSQL之读写数据主要内容有：Parquet、JSON、Hive表、JDBC连接关系型数据库。
分类：
数据库 时间：
2018-09-10 00:57:49
阅读次数：
250
一、前述 1、SparkSQL介绍 Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱离了Hive的限制。 SparkSQL支持查询原生的RDD。 RDD是Spark平台的核心概念，是Spark能够高效的处理大数据的各种场景的基础。 能够在Sca ...
分类：
数据库 时间：
2018-09-07 14:11:03
阅读次数：
263
一、DataFrame：有列名的RDD 首先，我们知道SparkSQL的目的是用sql语句去操作RDD，和Hive类似。SparkSQL的核心结构是DataFrame，如果我们知道RDD里面的字段，也知道里面的数据类型，就好比关系型数据库里面的一张表。那么我们就可以写SQL，所以其实这儿我们是不能用 ...
分类：
数据库 时间：
2018-09-07 14:09:09
阅读次数：
232
说明： spark --version : 2.2.0 我有两个json文件，分别是emp和dept： emp内容如下： dept内容如下： 现在我需要通过sparksql将两个文件加载进来并做join，最后将结果保存到本地 下面是操作步骤： 1、初始化配置 2、将两个json文件加载进来 3、分别 ...
分类：
数据库 时间：
2018-09-05 08:53:42
阅读次数：
587
一、通用的load和save操作 对于Spark SQL的DataFrame来说，无论是从什么数据源创建出来的DataFrame，都有一些共同的load和save操作。load操作主要用于加载数据，创建出DataFrame；save操作，主要用于将DataFrame中的数据保存到文件中。 Java版 ...
分类：
数据库 时间：
2018-08-23 20:10:12
阅读次数：
176
参考：http://spark.apache.org/docs/latest/sql-programming-guide.html 1）使用maven构建Scala工程。 1.1）新增pom依赖包文件如下： 1.2）新建Scala类，代码及功能描述如下： ...
分类：
数据库 时间：
2018-08-22 22:49:36
阅读次数：
266
一、Spark SQL的特点 1、支持多种数据源：Hive、RDD、Parquet、JSON、JDBC等。2、多种性能优化技术：in-memory columnar storage、byte-code generation、cost model动态评估等。3、组件扩展性：对于SQL的语法解析器、分析 ...
分类：
数据库 时间：
2018-08-22 18:23:03
阅读次数：
158
1.说明 虽然DStream可以转换成RDD，但是如果比较复杂，可以考虑使用SparkSQL。 2.集成方式 Streaming和Core整合： transform或者foreachRDD方法 Core和SQL整合： RDD <==> DataFrame 互换 3.程序 4.效果 ...
分类：
数据库 时间：
2018-08-16 22:28:07
阅读次数：
224
