码迷,mamicode.com
首页 > 其他好文 > 详细

Spark开发环境

时间:2014-11-25 17:47:01      阅读:613      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   io   ar   color   os   使用   sp   

1. Win7下利用Intellij IDEA构建Spark开发环境

前提:Intellij IDEA Community 免费版下载(最新版14.0.1),Scala插件下载(最新版scala-intellij-bin-1.1.2.zip)

1> 安装Intellij IDEA Scala运行环境

http://blog.csdn.net/asongoficeandfire/article/details/26412493

Note: 

a. 新建Scala Project后,会出现相应的树形目录,在src中新建测试文件时,没有scala文件可选(solution:点击最右侧Project Structure -> Platform Setting -> Global Libraries -> 点击中间的"+" -> Scala SDK即可显示Scala相关文件);

b. 调节字体大小及背景颜色(点击左上File -> Setting -> Editor -> Colors & Fonts -> 先Save As后再调节文字大小及背景颜色)

c. 将相应文件打包成.jar文件,便于提交该项目运行于Spark集群上(File->Project Structure或者点击右侧相应的图标均可进入项目的配置界面,在左侧选择Artifacts,点击绿色的+号,即新建一个打包操作,选中新建的unnamed打包项之后,可以配置jar包的名称,输出路径,还可以选择jar包中包含的其它文件;配置完成后,我们就可以在菜单栏中选择Build->Build Artifacts...,然后使用Build、ReBuild等命令打包啦。打包完成后会在状态栏中显示“Compilation completed successfully...”的信息,去jar包输出路径下查看,就能拿到我们的jar包啦。)

2. 搭建Spark源码阅读环境(需要联网)

前提:Linux 下git安装(http://senluowanxiangt.blog.163.com/blog/static/14060264620136288321016/)

 

 

注意:今天在测试环境使用yum安装,遇到一个问题:Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again

 

Solution:修改文件“/etc/yum.repos.d/epel.repo”, 将所有baseurl的注释取消, mirrorlist注释掉即可。

 

 

1> 在linux操作系统上生成intellij项目文件(需要安装git,不需要安装scala,sbt会自动下载):

     -> 在spark源代码根目录下,输入sbt/sbt gen-idea即可,过程如下:

 

    [root@Master spark-1.1.0]# sbt/sbt gen-idea
    Using /home/Spark/husor/jdk as default JAVA_HOME.
    Note, this will be overridden by -java-home if it is set.
    Attempting to fetch sbt
    ######################################################################## 100.0%
    Launching sbt from sbt/sbt-launch-0.13.5.jar
    Getting org.scala-sbt sbt 0.13.5 ...

 

2> 在intellij IDEA中直接通过“Open Project”打开项目,导入上述生成的Spark 源码intellij项目文件。

Note:

如果你在windows下阅读源代码,建议先在linux下生成项目文件,然后导入到windows中的intellij IDEA中。

 

参照:http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/

Spark开发环境

标签:style   blog   http   io   ar   color   os   使用   sp   

原文地址:http://www.cnblogs.com/likai198981/p/4121190.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!