码迷,mamicode.com
首页 > 数据库 > 详细

spark SQL

时间:2018-08-11 17:16:09      阅读:132      评论:0      收藏:0      [点我收藏+]

标签:ram   sql   index   frame   信息   一个   shark   spark   生态系统   

参考文献:https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice3/index.html

大数据工程师们开始探索如何使用类 SQL 的方式来操作和分析大数据,通过大量的努力,目前业界已经出现很多 SQL on Hadoop 的方案,如 Hive, Impala 等。Spark SQL 就是其中的一个,实际上 Spark SQL 并不是一开始就存在于 Spark 生态系统里的,它的前身是 Shark

Spark SQL 是 Spark 生态系统里用于处理结构化大数据的模块
Spark DataFrame 以 RDD 为基础,但是带有 Schema 信息,它类似于传统数据库中的二维表格
一旦将 DataFrame 注册成临时表,我们就可以使用类 SQL 的方式操作这些数据
当前支持的数据源有:Json、文本文件、RDD、关系数据库、Hive、Parquet

spark SQL

标签:ram   sql   index   frame   信息   一个   shark   spark   生态系统   

原文地址:https://www.cnblogs.com/testzcy/p/9460250.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!