首先创建SparkContext上下文： 接着引入隐身转换，用于把RDD转成SchemaRDD: 接下来定义一个case class 来用于描述和存储SQL表中的每一行数据： 接下来要加载数据，这里的测试数据是user.txt文件： 我们创建好use...
分类：
数据库 时间：
2015-03-02 19:26:20
阅读次数：
264
首先创建SparkContext上下文：
接着引入隐身转换，用于把RDD转成SchemaRDD:
接下来定义一个case class 来用于描述和存储SQL表中的每一行数据：
接下来要加载数据，这里的测试数据是user.txt文件：
我们创建好use.txt增加内容并上传到hdfs中：
web控制台查询：
hdfs命令查询：
加...
分类：
数据库 时间：
2015-03-02 19:08:17
阅读次数：
222
回顾一下，在前面几章中，就sparkSQL1.1.0基本概念、运行架构、基本操作和实用工具做了基本介绍。
基本概念：
SchemaRDD
RuleTreeLogicPlanParserAnalyzerOptimizerSparkPlan
运行架构：
sqlContext运行架构hiveContext运行架构
基本操作
原生RDD的操作parquet文件的操作j...
分类：
数据库 时间：
2014-10-23 12:29:53
阅读次数：
298
