码迷,mamicode.com
首页 > Windows程序 > 详细

Windows上安装运行Spark

时间:2019-07-01 18:37:48      阅读:177      评论:0      收藏:0      [点我收藏+]

标签:microsoft   shell   park   路径   必须   load   否则   ado   运行   

1.下载Scala: https://www.scala-lang.org/download/

①注意:必须下载官方要求的JDK版本,并设置JAVA_HOME,否则后面将出现很多麻烦!

技术图片

②Scala当前最新版本为

技术图片

 

2.安装后在cmd中输入scala出现如下提示表示成功

技术图片

 

3.下载Spark:http://spark.apache.org/downloads.html

技术图片

4.进入spark-2.3.3-bin-hadoop2.7\bin,cmd中输入spark-shell

①出现下面错误,表示需要安装python。安装时选择加到系统路径中,安装完cmd中输入python验证是否安装成功。

技术图片

②出现下面错误,表示找不到Hadoop。需要安装Hadoop并设置HADOOP_HOME的系统路径。关于Windows下的Hadoop安装,可以参考《Windows上安装运行Hadoop》。

技术图片

③出现下面的WARN可以不用理会,正常使用。

技术图片

如果实在受不了WARN的话,则在spark-2.3.3-bin-hadoop2.7\conf\log4j.properties(默认是有template后缀的,直接去掉这个后缀)中增加

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

④屏蔽后的显示

技术图片

 

以上。

Windows上安装运行Spark

标签:microsoft   shell   park   路径   必须   load   否则   ado   运行   

原文地址:https://www.cnblogs.com/chevin/p/11064854.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!