码迷,mamicode.com
首页 > 其他好文 > 详细

RDD和DataFrame和DataSet三者间的区别

时间:2020-05-12 17:13:48      阅读:220      评论:0      收藏:0      [点我收藏+]

标签:mamicode   dfa   image   api   spark   抽象   https   png   ash   

技术图片

在SparkSQL中Spark为我们提供了两个新的抽象,分别是DataFrame和DataSet。他们和RDD有什么区别呢?首先从版本的产生上来看:
RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)

如果同样的数据都给到这三个数据结构,他们分别计算之后,都会给出相同的结果。不同是的他们的执行效率和执行方式。

在后期的Spark版本中,DataSet会逐步取代RDD和DataFrame成为唯一的API接口。

网址:https://www.cnblogs.com/swordfall/p/9006088.html#auto_id_0

RDD和DataFrame和DataSet三者间的区别

标签:mamicode   dfa   image   api   spark   抽象   https   png   ash   

原文地址:https://www.cnblogs.com/hgc-bky/p/12876988.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!