码迷,mamicode.com
首页 > 编程语言 > 详细

Spark-Java独立应用编程--理解:

时间:2020-02-11 09:47:08      阅读:80      评论:0      收藏:0      [点我收藏+]

标签:mit   mode   ase   epo   alt   blog   http   img   color   

条件:mavenjava应用程序代码、pom.xml

 

-pom.xml文件 

 1 <project>
 2     <groupId>edu.berkeley</groupId>
 3     <artifactId>simple-project</artifactId>
 4     <modelVersion>4.0.0</modelVersion>
 5     <name>Simple Project</name>
 6     <packaging>jar</packaging>
 7     <version>1.0</version>
 8     <repositories>
 9         <repository>
10             <id>Akka repository</id>
11             <url>http://repo.akka.io/releases</url>
12         </repository>
13     </repositories>
14     <dependencies>
15         <dependency> <!-- Spark dependency -->
16             <groupId>org.apache.spark</groupId>
17             <artifactId>spark-core_2.12</artifactId>
18             <version>3.0.0-preview2</version>
19         </dependency>
20     </dependencies>
21 </project>

 

程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。

在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下,声明该独立应用程序的信息以及与Spark的依赖关系

使用Maven打包java程序

技术图片

将生成的jar包通过spark-submit提交到Spark中运行

技术图片

 

学习参考:

http://dblab.xmu.edu.cn/blog/1311-2/

Spark-Java独立应用编程--理解:

标签:mit   mode   ase   epo   alt   blog   http   img   color   

原文地址:https://www.cnblogs.com/daisy99lijing/p/12293805.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!