码迷,mamicode.com
首页 > 其他好文 > 详细

2020寒假生活学习日记(三)

时间:2020-02-03 13:34:38      阅读:100      评论:0      收藏:0      [点我收藏+]

标签:修改   依赖包   程序   pes   image   独立   成功   版本   信息   

安装sbt
sbt是一款Spark用来对scala编写程序进行打包的工具,下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar

技术图片

 

下载后,执行如下命令拷贝至 /usr/local/sbt 中:

 技术图片

接着在 /usr/local/sbt 中创建 sbt 脚本(vim ./sbt),添加如下内容:

技术图片

技术图片

 

为 ./sbt 脚本增加可执行权限:

 技术图片

 

 最后运行如下命令,检验 sbt 是否可用

技术图片

技术图片

 

 Scala应用程序代码
在终端中执行如下命令创建一个文件夹 sparkapp 作为应用程序根目录:

技术图片

在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件(vim ./sparkapp/src/main/scala/SimpleApp.scala),添加代码如下:

技术图片

 

  ./sparkapp 中新建文件 simple.sbt(vim ./sparkapp/simple.sbt),添加内容如下,声明该独立应用程序的信息以及与 Spark 的依赖关系:

技术图片

为保证 sbt 能正常运行,先执行如下命令检查整个应用程序的文件结构:

技术图片

 

 我们就可以通过如下代码将整个应用程序打包成 JAR(首次运行同样需要下载依赖包 ):

/usr/local/sbt/sbt package

 技术图片

 

 说明成功。

最后,我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了,命令如下:

技术图片

 

 

遇到的问题:在修改spark版本的时候,由于spark版本是3.0.0-preview2,但是只是改成3.0.0,导致在将整个应用程序打包成 JAR的时候出现错误,找不到版本为3.0.0的spark。

 

2020寒假生活学习日记(三)

标签:修改   依赖包   程序   pes   image   独立   成功   版本   信息   

原文地址:https://www.cnblogs.com/jccjcc/p/12255078.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!