repartition repartition 有三个重载的函数: 1) def repartition(numPartitions: Int): DataFrame /** * Returns a new [[DataFrame]] that has exactly `numPartitions` ...
分类:
数据库 时间:
2020-07-08 13:17:49
阅读次数:
93
RDD加上结构,比如说类名,就可以变成DataFrame,DataFrame,将每一类同这一类的类名绑定在一起就可以称为DataSet. spark sql 就是来处理dataframe和dataset这样的结构数据的。 spark sql使用的时候需要提供spark session环境。 // S ...
分类:
数据库 时间:
2020-07-01 18:40:18
阅读次数:
60
一、 数据准备 本文主要介绍 Spark SQL 的多表连接,需要预先准备测试数据。分别创建员工和部门的 Datafame,并注册为临时视图,代码如下: val spark = SparkSession.builder().appName("aggregations").master("local[ ...
分类:
数据库 时间:
2020-06-26 18:28:15
阅读次数:
72
一、简单聚合 1.1 数据准备 // 需要导入 spark sql 内置的函数包 import org.apache.spark.sql.functions._ val spark = SparkSession.builder().appName("aggregations").master("lo ...
分类:
数据库 时间:
2020-06-26 18:03:35
阅读次数:
58
Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案,但又各有特点。前面已经讨论了Hive和Impala,本节先介绍一下SparkSQL,然后从功能、架构、使用场景几个角度比较这三款产品的异同,最后附上分别由cloudera公司和SAS公司出示的关 ...
分类:
数据库 时间:
2020-06-25 21:29:31
阅读次数:
581
package test import org.apache.spark.sql.{DataFrame, ForeachWriter, Row, SparkSession} import org.apache.spark.sql.streaming.{ProcessingTime, Trigger} ...
分类:
数据库 时间:
2020-06-24 16:23:50
阅读次数:
132
第0章-课程介绍 第1章-大数据技术概述 第2章-Scala语言基础 第3章-Spark的设计与运行原理 第4章-Spark环境搭建和使用方法 第5章-RDD编程 第6章-Spark-SQL 第7章-Spark-Streaming 第8章-Spark-MLlib ...
分类:
其他好文 时间:
2020-06-10 23:09:12
阅读次数:
145
生态 Spark Core:最重要,其中最重要的是RDD(弹性分布式数据集) Spark SQL Spark Streaming Spark MLLib:机器学习算法 Spark Graphx:图计算 特点 针对大规模数据处理的快速通用引擎 基于内存计算 速度快,易用,兼容性强 体系架构 主节点:C ...
分类:
数据库 时间:
2020-06-03 20:48:29
阅读次数:
89
###概述 Structured Streaming 是 Spark 2.0 引入的功能,有以下特点 基于 Spark SQL engine 可以直接使用 DataSet/DataFrame API,就像处理离线的批数据一样 Spark SQL engine 持续地、增量地处理流数据 支持 stre ...
分类:
其他好文 时间:
2020-05-29 21:22:01
阅读次数:
77