码迷,mamicode.com
首页 > 其他好文 > 详细

Spark学习入门

时间:2017-12-21 18:18:57      阅读:192      评论:0      收藏:0      [点我收藏+]

标签:reduce   mapr   tor   而不是   数据   alt   spark   图片   分享图片   

技术分享图片

 Spark 是一种“One Stack to rule them all”通用的大数据计算框架,期望使用一个技术栈就完美地

解决大数据领域的各种计算任务。

Spark特点:速度快、容易上手开发、超强的通用性、集成Hadoop、极高的活跃度。

技术分享图片

 

 

技术分享图片

 Spark的速度比MapReduce快:MR计算模型太死板,而且里面最好性能的就是shuffle,shuffle

中间的过程都是基于磁盘来读写的。而Spark是基于内存进行计算的。

Spark缺陷:Spark是基于内存进行计算的,如果数据量太大,没有调优的情况下,会出现OOM。

但是此时MR尽管运行速度慢,但是其可以完成任务。

技术分享图片

 Spark替代的是Hive的查询引擎,而不是Hive的全部!!!

 

 技术分享图片

 Spark Streaming严格意义上来说,是一种准实时的计算框架。而Storm是真正意义上的实时计算框架。

Spark Streaming的吞吐量远远比Storm大。

 

Spark学习入门

标签:reduce   mapr   tor   而不是   数据   alt   spark   图片   分享图片   

原文地址:http://www.cnblogs.com/ahu-lichang/p/8081596.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!