spark运行模式

标签：reduce   aws   分布式   local   font   ref   调度   and   storm   

Spark有以下四种运行模式：

• local：本地单进程模式，用于本地开发测试Spark代码;
• standalone：分布式集群模式，Master-Worker架构，Master负责调度，Worker负责具体Task的执行;
• on yarn/mesos：运行在yarn/mesos等资源管理框架之上，yarn/mesos提供资源管理，spark提供计算调度，并可与其他计算框架(如MapReduce/MPI/Storm)共同运行在同一个集群之上;
• on cloud(EC2)：运行在AWS的EC2之上

可以参考：http://www.36dsj.com/archives/8001和http://www.ituring.com.cn/tupubarticle/5373

spark运行模式

标签：reduce   aws   分布式   local   font   ref   调度   and   storm   

原文地址：http://www.cnblogs.com/moonandstar08/p/6815307.html