码迷,mamicode.com
首页 > 其他好文 > 详细

使用IDEA开发SPARK提交remote cluster执行

时间:2015-04-10 15:16:04      阅读:147      评论:0      收藏:0      [点我收藏+]

标签:

开发环境

操作系统:windows
开发工具:IntelliJ IDEA  14.1.1 需要安装scala插件
编译环境:jdk 1.7   scala 2.10.4

使用IDEA开发spark应用

1:新建scala项目:
技术分享
技术分享
2:选择scala版本,需要spark的scala版本对应
点击上图Scala SDK的create按钮,弹出如下对话框,选择红框
技术分享
3:添加spark的jar作为library
我直接复制spark安装目录下面的lib里面所有的jar作为library.
4:编写spark应用
  1. import scala.math.random
  2. import org.apache.spark._
  3. /** Computes an approximation to pi */
  4. object SparkPi {
  5. def main(args: Array[String]) {
  6. val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://192.168.1.88:7077").
  7. set("spark.driver.host","192.168.1.129").setJars(List("D:\\IdeaProjects\\scalalearn\\out\\artifacts\\scalalearn\\scalalearn.jar"))
  8. val spark = new SparkContext(conf)
  9. val slices = if (args.length > 0) args(0).toInt else 2
  10. val n = 100000 * slices
  11. val count = spark.parallelize(1 to n, slices).map { i =>
  12. val x = random * 2 - 1
  13. val y = random * 2 - 1
  14. if (x*x + y*y < 1) 1 else 0
  15. }.reduce(_ + _)
  16. println("Pi is roughly " + 4.0 * count / n)
  17. spark.stop()
  18. }
  19. }

向远程spark集群提交应用

上面的代码中有段setJars(List("D:\\IdeaProjects\\scalalearn\\out\\artifacts\\scalalearn\\scalalearn.jar"))这里要说明下,就是当前工程编译的jar包的绝对路径。 点击File->Project Structure,弹出下面的对话框进行操作
技术分享

技术分享
技术分享

好了现在就OK了





使用IDEA开发SPARK提交remote cluster执行

标签:

原文地址:http://www.cnblogs.com/gaoxing/p/4414362.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!