码迷,mamicode.com
首页 > 其他好文 > 详细

spark的四种部署模式对比

时间:2019-12-09 21:11:23      阅读:237      评论:0      收藏:0      [点我收藏+]

标签:资源   分布   系统   dal   article   tle   官方   details   开发   

本地模式
Spark单机运行,一般用于开发测试。
Standalone模式
构建一个由Master+Slave构成的Spark集群,Spark运行在集群中。
Spark on Yarn模式
Spark客户端直接连接Yarn。不需要额外构建Spark集群。
Spark on Mesos模式
Spark客户端直接连接Mesos。不需要额外构建Spark集群

Spark四种分布式部署方式比较 

原文参见 :https://blog.csdn.net/WYpersist/article/details/79731621

 

结论:

四种分布式部署方式各有利弊,通常需要根据实际情况决定采用哪种方案。进行方案选择时,往往要考虑公司的技术路线(采用Hadoop生态系统还是其他生态系统)、相关技术人才储备等。上面涉及到Spark的许多部署模式,究竟哪种模式好这个很难说,需要根据你的需求,如果你只是测试Spark Application,你可以选择local模式。而如果你数据量不是很多,Standalone 是个不错的选择。当你需要统一管理集群资源(Hadoop、Spark等),那么你可以选择Yarn或者mesos,但是这样维护成本就会变高。 
· 从对比上看,mesos似乎是Spark更好的选择,也是被官方推荐的 
· 但如果你同时运行hadoop和Spark,从兼容性上考虑,Yarn是更好的选择。 · 如果你不仅运行了hadoop,spark。还在资源管理上运行了docker,Mesos更加通用。 

· Standalone对于小规模计算集群更适合

spark的四种部署模式对比

标签:资源   分布   系统   dal   article   tle   官方   details   开发   

原文地址:https://www.cnblogs.com/bjxdd/p/12013297.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!