码迷,mamicode.com
首页 >  
搜索关键字:spark-sql    ( 532个结果
Spark SQL : DataFrame repartition、coalesce 对比
repartition repartition 有三个重载的函数: 1) def repartition(numPartitions: Int): DataFrame /** * Returns a new [[DataFrame]] that has exactly `numPartitions` ...
分类:数据库   时间:2020-07-08 13:17:49    阅读次数:93
【赵强老师】什么是Spark SQL?
【赵强老师】什么是Spark SQL?
分类:数据库   时间:2020-07-03 10:46:43    阅读次数:73
DataFrame DataSet Spark SQL学习
RDD加上结构,比如说类名,就可以变成DataFrame,DataFrame,将每一类同这一类的类名绑定在一起就可以称为DataSet. spark sql 就是来处理dataframe和dataset这样的结构数据的。 spark sql使用的时候需要提供spark session环境。 // S ...
分类:数据库   时间:2020-07-01 18:40:18    阅读次数:60
入门大数据---SparkSQL联结操作
一、 数据准备 本文主要介绍 Spark SQL 的多表连接,需要预先准备测试数据。分别创建员工和部门的 Datafame,并注册为临时视图,代码如下: val spark = SparkSession.builder().appName("aggregations").master("local[ ...
分类:数据库   时间:2020-06-26 18:28:15    阅读次数:72
入门大数据---SparkSQL常用聚合函数
一、简单聚合 1.1 数据准备 // 需要导入 spark sql 内置的函数包 import org.apache.spark.sql.functions._ val spark = SparkSession.builder().appName("aggregations").master("lo ...
分类:数据库   时间:2020-06-26 18:03:35    阅读次数:58
Hive、Spark SQL、Impala比较
Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案,但又各有特点。前面已经讨论了Hive和Impala,本节先介绍一下SparkSQL,然后从功能、架构、使用场景几个角度比较这三款产品的异同,最后附上分别由cloudera公司和SAS公司出示的关 ...
分类:数据库   时间:2020-06-25 21:29:31    阅读次数:581
kafka -> structuredStreaming读取kafka日志 ->自定义输出到mysql
package test import org.apache.spark.sql.{DataFrame, ForeachWriter, Row, SparkSession} import org.apache.spark.sql.streaming.{ProcessingTime, Trigger} ...
分类:数据库   时间:2020-06-24 16:23:50    阅读次数:132
spark考试
第0章-课程介绍 第1章-大数据技术概述 第2章-Scala语言基础 第3章-Spark的设计与运行原理 第4章-Spark环境搭建和使用方法 第5章-RDD编程 第6章-Spark-SQL 第7章-Spark-Streaming 第8章-Spark-MLlib ...
分类:其他好文   时间:2020-06-10 23:09:12    阅读次数:145
[DB] Spark--Spark Core
生态 Spark Core:最重要,其中最重要的是RDD(弹性分布式数据集) Spark SQL Spark Streaming Spark MLLib:机器学习算法 Spark Graphx:图计算 特点 针对大规模数据处理的快速通用引擎 基于内存计算 速度快,易用,兼容性强 体系架构 主节点:C ...
分类:数据库   时间:2020-06-03 20:48:29    阅读次数:89
Spark Structured Streaming
###概述 Structured Streaming 是 Spark 2.0 引入的功能,有以下特点 基于 Spark SQL engine 可以直接使用 DataSet/DataFrame API,就像处理离线的批数据一样 Spark SQL engine 持续地、增量地处理流数据 支持 stre ...
分类:其他好文   时间:2020-05-29 21:22:01    阅读次数:77
532条   上一页 1 2 3 4 5 6 ... 54 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!