spark(3) - scala独立编程

标签：网速慢   mave   sbt   开发   src   eclipse   4.0   pac   结构   

>>非集成：

环境需要

　　* spark 2.4.0

　　* scala 2.11.12

　　* sbt （打包）

开发过程

　　1、shell命令下创建项目目录结构 

　　　　　　*****/ project / src / main / scala 

　　　　　　　　　　　　　　　　    -> . / ClassName.scala （ touch + gedit 命令）　　　　　 

　　　　　　*****/ project 

　　　　　　　　　　　-> . / ******.sbt (Scala & spark 配置信息)

　　2、编写代码

　　3、sbt打包jar - sbt package

　　4、运行 spark-submit  --class " ** "  ..../../../../ ***.jar

>>集成环境

　　* Eclipse +maven/sbt

　　* Scala IDE for  eclipse

　　* Intellij IDEA + maven/sbt

　　使用过程：

　　　　创建项目

　　　　编写代码

　　　　运行调试

【问题】：这几个工具配合使用maven/sbt 老由问题

   待处理 ：1、网速慢   2、配置不熟悉

spark(3) - scala独立编程

标签：网速慢   mave   sbt   开发   src   eclipse   4.0   pac   结构   

原文地址：https://www.cnblogs.com/floakss/p/10526213.html