一 问题 hivesql可以正常运行，spark3.0运行报错如图 spark3.0配置 查看源码新增一个 val STORE_ASSIGNMENT_POLICY = buildConf("spark.sql.storeAssignmentPolicy") .doc("When inserting ...
分类：
数据库 时间：
2019-12-25 20:34:49
阅读次数：
162
目录 一、Spark SQL介绍 二、Spark和Hive的整合 三、Spark的thriftserve2/beeline/jdbc 四、shell方式使用SQL 一、Spark SQL介绍 官网：http://spark.apache.org/sql/ 学习文档：http://spark.apac ...
分类：
数据库 时间：
2019-12-24 23:44:13
阅读次数：
353
自定义用户函数有两种方式，区别：是否使用强类型，参考demo：https://github.com/asker124143222/spark-demo 1、不使用强类型，继承UserDefinedAggregateFunction package com.home.spark import org. ...
分类：
数据库 时间：
2019-12-24 19:01:05
阅读次数：
134
spark 提供了两个机器学习库 MLlib 和 ML，MLlib 是 spark 第一个机器学习库，相比于 ML，它更加成熟 rdd 是 spark core 的数据抽象，dataframe 是 sparkSQL 的数据抽象， 而 MLib 的数据抽象包括 Vector、LabeledPoint、 ...
分类：
其他好文 时间：
2019-12-20 18:26:13
阅读次数：
101
sparksql是spark中的一个模块，主要用于进行结构化数据的处理，他提供的最核心的编程抽象，就是DataFrame。同时，sparksql还可以作为分布式的sql查询引擎。 最最重要的功能就是从hive中查询数据。 Dataframe可以理解为：以列的形式组织的，分布式的数据集合。 Dataf ...
分类：
数据库 时间：
2019-12-17 15:26:10
阅读次数：
121
一、测试数据集(奥特曼.json) 二、源代码 1 import org.apache.spark.sql.SparkSession 2 3 //在Scala中,样例类在编译时会默认实现Product特质 4 case class Ultraman(name: String, age: BigInt ...
分类：
数据库 时间：
2019-12-14 17:35:20
阅读次数：
144
2019-12-11 Spark的框架体系 三个核心组件：SparkCore SparkSQL SparkStreaming Spark有三种部署模式：Stanalone Yarn Messos Spark和MapReduce之间区别 ***** 1.Spark把运算中数据放到内存中，迭代计算效率会 ...
分类：
其他好文 时间：
2019-12-11 21:33:03
阅读次数：
153
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi ...
分类：
其他好文 时间：
2019-12-11 09:16:33
阅读次数：
82
问题： 原因： sparksql生成的hive表有空文件，但是sparksql读取空文件的时候，因为表示orc格式的，导致sparksql解析orc文件出错。但是用hive却可以正常读取。 解决办法： 暂时不知道怎么解决，这里先记录一下，等找到方法再回来补充 ...
分类：
数据库 时间：
2019-12-02 16:36:57
阅读次数：
554
import org.apache.log4j.{Level, Logger}import org.apache.spark.sql.SparkSessionobject SparkSql { def main(args: Array[String]): Unit ={ Logger.getLogg ...
分类：
数据库 时间：
2019-12-02 13:30:16
阅读次数：
107
