码迷,mamicode.com
首页 > 其他好文 > 详细

Spark的运行模式(1)--Local和Standalone

时间:2017-05-15 15:40:06      阅读:168      评论:0      收藏:0      [点我收藏+]

标签:ssh无密码登录   ssh   配置   http   sla   分享   机器   自身   本地   

Spark一共有5种运行模式:Local,Standalone,Yarn-Cluster,Yarn-Client和Mesos。

1. Local

Local模式即单机模式,如果在命令语句中不加任何配置,则默认是Local模式,在本地运行。这也是部署、设置最简单的一种模式

2. Standalone

Standalone是Spark自身实现的资源调度框架。如果我们只使用Spark进行大数据计算,不使用其他的计算框架(如MapReduce或者Storm)时,就采用Standalone模式。

Standalone模式的部署比较繁琐,需要把Spark的部署包安装到每一台节点机器上,并且部署的目录也必须相同,而且需要Master节点和其他节点实现SSH无密码登录。启动时,需要先启动Spark的Master和Slave节点。

技术分享

其中master:7077是Spark的Master节点的主机名和端口号。

Spark的运行模式(1)--Local和Standalone

标签:ssh无密码登录   ssh   配置   http   sla   分享   机器   自身   本地   

原文地址:http://www.cnblogs.com/mstk/p/6856569.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!