码迷,mamicode.com
首页 > 其他好文 > 详细

基于Mesos运行Spark

时间:2015-12-22 17:43:04      阅读:180      评论:0      收藏:0      [点我收藏+]

标签:

背景介绍

      Spark有多种集群运行模式,例如:Standalone,Yarn,Mesos。
      下面就说一下如何在Mesos上运行Spark,这也是官方推荐的一种运行方式。
      在运行Spark之前咱们先简略介绍一下Mesos。
      Mesos计算框架是一个集群管理器,提供了有效的、跨分布式的应用或框架的资源隔离和共享,可以运行Haoop,Spark,Marathon等多种框架。使用Zookeeper实现容错机制,使用Linux Containers来隔离任务,支持多种资源计算分配,基于Mesos我们可以实现多种服务混布,更细粒度、更高效的提高资源利用率,避免资源的浪费。 
      关于Mesos的安装详细信息这里不再赘述,详情可以查看http://get.dataman.io
      下图是Spark集群的工作模式,当我们使用Mesos的时候Mesos  Master将替换Spark  Master成为集群管理器。 
技术分享 
环境以Ubuntu 14.04为例 

1.准备工作

    (1)安装JDK  1.7
    (2)安装Scala  2.11
    (3)安装libcurl4-nss-dev    (注:这是我自己安装过程遇到的一个错误)
    (4)下载Spark二进制包http://spark.apache.org/downloads.html
    (5)Spark Driver可以安装在任意机器上,如果安装Spark Driver的已经安装了Mesos,可以找到/usr/local/lib/libmesos.so  这是Spark Driver需要加载的Mesos的库,如果机器上没有安装Mesos可以从安装Mesos的机器上复制过来。 

2.配置Spark  Driver

    (1)下载Spark二进制包    

wget http://mirror.reverse.net/pub/apache/spark/spark-1.4.0/spark-1.4.0-bin-hadoop2.6.tgz

    (2)解压

tar -zxf spark-1.4.0-bin-hadoop2.6.tgz

    (3)进入目录

cd spark-1.4.0-bin-hadoop

    (4)复制配置文件

cp conf/spark-defaults.conf.template conf/spark-defaults.conf && cp conf/spark-env.sh.template conf/spark-env.sh

    (5)修改spark-env.sh配置选项,我主要修改了如下配置

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so     #加载Mesos库的路径

export MASTER=mesos://zk://192.168.100.7:2181,192.168.100.8:2181,192.168.100.9:2181/mesos     #如果是单主节点可以用mesos://ip:host,如果是用zookeeper管理的多主节点就需要mesos://zk://192.168.100.7:2181,192.168.100.8:2181,192.168.100.9:2181/mesos 

export SPARK_LOCAL_IP=`ifconfig eth0 | awk ‘/inet addr/{print substr($2,6)}‘` 

export SPARK_LOCAL_HOSTNAME=`ifconfig eth0 | awk ‘/inet addr/{print substr($2,6)}‘` 

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:jre/bin/java::")

export SPARK_EXECUTOR_URI=<URL of spark-1.4.0.tar.gz uploaded above>    #这个是spark二进制包所在的位置,当mesos在计算节点运行任务的时候,计算节点必须有spark的二进制包来建立spark的运行环境。

    (6)运行spark-shell    现在Spark Driver的配置基本已经配置完了,我们可以运行bin目录下的spark-shell,当运行成功以后查看Mesos的Web页面Active Frameworks如果出来如下图所示的进程,就表示我们已经配置成功了。 技术分享
现在我们就可以编写属于我们自己的Spark程序了。

基于Mesos运行Spark

标签:

原文地址:http://www.cnblogs.com/qiumingcheng/p/5067386.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!