spark-sql的概述以及编程模型的介绍

标签：-o   col   ase   自动   存储   udaf   查看   抽象   select   

（1）spark sql的介绍：

  Spark SQL 是 Spark 用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通 过 RDD 获取）的一个模块，它提供了一个编程抽象叫做 DataFrame 并且作为分布式 SQL 查 询引擎的作用。
  外部的结构化数据源包括 JSON、Parquet(默认)、RMDBS、Hive 等。当前 Spark SQL 使用 Catalyst 优化器来对 SQL 进行优化，从而得到更加高效的执行方案。并且可以将结果存储到外部系统。

（2）spark sql的特点：

   - 容易整合
   - 统一的数据访问方式
   - 兼容hive
   - 标准的数据连接

（3）关于spark sql的版本迭代：

   - spark sql 的前身是shark。但是spark sql抛弃了原有shark的代码，汲取了shark的一些优点，如：列存储（In-Memory Columnar Storage）、Hive 兼容性等，重新开发 SparkSQL。
   - spark -1.1 2014 年 9 月 11 日，发布 Spark1.1.0。Spark 从 1.0 开始引入 SparkSQL（Shark 不再支持升级与维护）。Spark1.1.0 变化较大是 SparkSQL 和 MLlib
   - spark -1.3 增加了dataframe新
   - spark -1.4 增加了窗口分析函数
   - spark - 1.5 钨丝计划。Hive 中有 UDF 与 UDAF，Spark 中对 UDF 支持较早
   - spark 1.6 执行的 sql 中可以增加"--"注释，Spark-1.5/1.6 的新特性，引入 DataSet 的概念
   - spark 2.x SparkSQL+DataFrame+DataSet(正式版本)，Structured Streaming(DataSet)，引入 SparkSession 统一了 RDD，DataFrame，DataSet 的编程入口

2、spark sql的编程模型

（1）sparkSession的介绍：

  SparkSession 是 Spark-2.0 引如的新概念。SparkSession 为用户提供了统一的切入点，来让用户学习 Spark 的各项功能。
  随着 DataSet 和 DataFrame 的 API 逐渐成为标准的 API，SparkSession 作为 DataSet 和 DataFrame API 的切入点，SparkSession 封装了 SparkConf、SparkContext 和 SQLContext。为了向后兼容，SQLContext 和 HiveContext 也被保存下来。
  特点：
   - 为用户提供一个统一的切入点使用 Spark 各项功能
   - 允许用户通过它调用 DataFrame 和 Dataset 相关 API 来编写程序
   - 减少了用户需要了解的一些概念，可以很容易的与 Spark 进行交互
   - 与 Spark 交互之时不需要显示的创建 SparkConf、SparkContext 以及 SQlContext，这些对 象已经封闭在 SparkSession 中
   - SparkSession 提供对 Hive 特征的内部支持：用 HiveQL 写 SQL 语句，访问 Hive UDFs，从 Hive 表中读取数据
   SparkSession的创建：
  在spark-shell中SparkSession 会被自动初始化一个对象叫做 spark，为了向后兼容，Spark-Shell 还提供了一个 SparkContext 的初始化对象，方便用户操作：

  在代码开发的时候创建：

val conf = new SparkConf()
val spark: SparkSession = SparkSession.builder()
  .appName("_01spark_sql")
  .config(conf)
  .getOrCreate()

（2）RDD：

这里主要说的是RDD的局限性：
  - RDD是不支持spark-sql的
   - RDD 仅表示数据集，RDD 没有元数据，也就是说没有字段语义定义
   - RDD 需要用户自己优化程序，对程序员要求较高
   - 从不同数据源读取数据相对困难，读取到不同格式的数据都必须用户自己定义转换方式 合并多个数据源中的数据也较困难

（3）DataFrame：

  DataFrame 被称为 SchemaRDD。以行为单位构成的分布式数据集合，按照列赋予不同的名称。对 select、fileter、aggregation 和 sort 等操作符的抽象。其中 Schema 是就是元数据，是语义描述信息。DataFrame是分布式的Row对象的集合.
  DataFrame = RDD+Schema = SchemaRDD
   优势：
   - DataFrame 是一种特殊类型的 Dataset，DataSet[Row] = DataFrame
   - DataFrame 自带优化器 Catalyst，可以自动优化程序
   - DataFrame 提供了一整套的 Data Source API
   特点：
   - 支持 单机 KB 级到集群 PB 级的数据处理
   - 支持多种数据格式和存储系统
   - 通过 Spark SQL Catalyst 优化器可以进行高效的代码生成和优化
   - 能够无缝集成所有的大数据处理工具
   - 提供 Python, Java, Scala, R 语言 API

（4）DataSet：

   由于 DataFrame 的数据类型统一是 Row，所以 DataFrame 也是有缺点的。Row 运行时类型检查，比如 salary 是字符串类型，下面语句也只有运行时才进行类型检查。 dataframe.filter("salary>1000").show()

   Dataset扩展了 DataFrame API，提供了编译时类型检查，面向对象风格的 API。
   Dataset 可以和 DataFrame、RDD 相互转换。DataFrame=Dataset[Row],可见 DataFrame 是一种特殊的 Dataset。

（5）DataSet和DataFrame的区别？

   这里小编要重点强调一下二者的区别，但是在学习spark-sql的时候就对二者的关系不太清楚，而且在面试的时候也问到了这个问题，真的是一番血泪史啊。
   通过查看多个前辈对二者的总结我大概的总结一下二者的区别：
   - Dataset可以认为是DataFrame的一个特例，主要区别是Dataset每一个record存储的是一个强类型值而不是一个Row
   - DataSet可以在编译时检查类型，而DataFrame只有在正真运行的时候才会检查
   - DataFrame每一行的类型都是Row，不解析我们就无法知晓其中有哪些字段，每个字段又是什么类型。我们只能通过getAs[类型]或者row(i)的方式来获取特定的字段内容（超级大弊端）；而dataSet每一行的类型是不一定的，在自定义了case class之后就可以很自由的获取每一行的信息。
 
好了 废话说了一堆，不如直接上代码：

object SparkSqlTest {
    def main(args: Array[String]): Unit = {
        //屏蔽多余的日志
        Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN)
        Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
        Logger.getLogger("org.project-spark").setLevel(Level.WARN)
        val conf: SparkConf = new SparkConf()
        conf.setMaster("local[2]")
            .setAppName("SparkSqlTest")
            //设置spark的序列化器
            .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
            //将自定义的对象，加入序列化器中
            .registerKryoClasses(Array(classOf[Person]))
        //构建SparkSession对象
        val spark: SparkSession = SparkSession.builder()
            .config(conf).getOrCreate()
        //创建sparkContext对象
        val sc: SparkContext = spark.sparkContext

        val list = List(
            new Person("委xx", 18),
            new Person("吴xx", 20),
            new Person("戚xx", 30),
            new Person("王xx", 40),
            new Person("薛xx", 18)
        )
        //创建DataFrame
        //构建元数据
        val schema = StructType(List(
            StructField("name", DataTypes.StringType),
            StructField("age", DataTypes.IntegerType)
        ))
        //构建RDD
        val listRDD: RDD[Person] = sc.makeRDD(list)
        val RowRDD: RDD[Row] = listRDD.map(field => {
            Row(field.name, field.age)
        })
        val perDF: DataFrame = spark.createDataFrame(RowRDD,schema)

        //创建DataSet
        import spark.implicits._  //这句话一定要加
        val perDS: Dataset[Person] = perDF.as[Person]

        /**
          * 这里主要介绍DF 和 DS的区别
          */
        perDF.foreach(field=>{
            val name=field.get(0)  //根据元素的index，取出相应的元素的值
            val age=field.getInt(1)  //根据元素的index和元素的类型取出元素的值
            field.getAs[Int]("age")  //根据元素的类型和元素的名称取出元素的值
            println(s"${age},${name}")
        })
        perDS.foreach(field=>{
            //直接根据上面定义的元素的名称取值
            val age=field.age
            val name=field.name
            println(s"${age},${name}")
        })
    }
}
case class Person(name: String, age: Int)

个人感觉，就是DataFrame虽然集成和很多优点，但是，如果想从DataFrame中取出具体的某个对象的某个属性，是不能确定的，步骤比较繁琐，而且类型不确定。但是使用DataSet则有效额的避免了所有的问题。

spark-sql的概述以及编程模型的介绍

标签：-o   col   ase   自动   存储   udaf   查看   抽象   select   

原文地址：http://blog.51cto.com/14048416/2339105