标签：状态   建立   hive   构建   XML   目录   情况   sql脚本   home   

概述

SparkSQL 的元数据的状态有两种：

1、in_memory,用完了元数据也就丢了

2、hive , 通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。
换句话说，SparkSQL的数据仓库在建立在Hive之上实现的。我们要用SparkSQL去构建数据仓库的时候，必须依赖于Hive。

Spark-SQL脚本

如果用户直接运行bin/spark-sql命令。会导致我们的元数据有两种状态：

1、in-memory状态:

如果SPARK-HOME/conf目录下没有放置hive-site.xml文件，元数据的状态就是in-memory

2、hive状态：

如果我们在SPARK-HOME/conf目录下放置了，hive-site.xml文件，那么默认情况下

spark-sql的元数据的状态就是hive.

Spark学习之路 （二十）SparkSQL的元数据[转]

标签：状态   建立   hive   构建   XML   目录   情况   sql脚本   home   

原文地址：https://www.cnblogs.com/cjunn/p/12234418.html