码迷,mamicode.com
首页 > 其他好文 > 详细

lazy-linalg: spark第三方依赖打包

时间:2016-05-07 08:44:46      阅读:196      评论:0      收藏:0      [点我收藏+]

标签:

简介

本次任务是对打包第三包 lazy-linalg
该包,包含了sbt的脚本

基于sbt的方法

下载源码解压后,在命令行模式(cmd)进入到源码所在的地址
E:\Workdir\ScalaWorkdir\lazy-linalg-master
然后执行命令:sbt

这种方法简单,但是编译过程需要联网下载大量依赖的jar包
由于受到联网的影响,所以还未成功

基于IDEA的方法

根据源码的包结构(如图),在我应用的代码直接添加这个包结构。然后编译打包
技术分享

IDEA项目目录结构示意
技术分享

技术分享

PS编译的时候注意依赖的版本,由于lazy-linalg依赖spark 1.5以后的版本,而第一次编译设置依赖为:spark-assembly-1.3.0-hadoop2.4.0.jar。所以编译不通过
后来将编译依赖设置为:spark-assembly-1.5.2-hadoop2.6.0.jar则成功编译。
技术分享

PS:由于目前没有1.5版本的spark,所以还没进行后的运行测试

lazy-linalg: spark第三方依赖打包

标签:

原文地址:http://blog.csdn.net/zhzhji440/article/details/51333597

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!