码迷,mamicode.com
首页 > Windows程序 > 详细

windows下大数据开发环境搭建(4)——Spark环境搭建

时间:2019-11-25 23:20:43      阅读:99      评论:0      收藏:0      [点我收藏+]

标签:启动   evel   ros   自己   java   style   ext   python 2   com   

一、所需环境

· Java 8

· Python 2.6+

· Scala

· Hadoop 2.7+

 

二、Spark下载与解压

http://spark.apache.org/downloads.html

按照以下截图提示,点击下载Spark的tgz压缩包。

 技术图片

技术图片

下载完成后将Spark用7zip工具解压,放到一个不带空格的根目录下,我将起放在C盘的spark文件夹下:C:\spark\spark-2.4.4-bin-hadoop2.7

 

三、环境变量配置

SCALA_HOME: C:\spark\spark-2.4.4-bin-hadoop2.7

Path: C:\spark\spark-2.4.4-bin-hadoop2.7\bin

 

四、winutils.exe文件补充

需要从https://github.com/steveloughran/winutilshttps://gitee.com/likespace/winutils 此处下载与你的hadoop版本对应或版本更高的winutils.exe文件,并保存到Hadoop的bin目录下。

 技术图片

如果没有winutils.exe文件,执行spark-shell将会出现如下错误:ERROR Shell: Failed to locate the winutils binary in the hadoop binary path

 技术图片

 

五、命令行检验

1.启动scala shell模式

spark-shell

技术图片

 

2.启动python shell模式

pyspark

技术图片

 

3.查看Spark context Web UI

http://127.0.0.1:4040

技术图片

4..退出shell

ctrl + D

 技术图片

 

至此,我们已经成功在windows环境下搭建起Spark开发环境,可以使用Spark愉快地继续自己的大数据之旅了!

windows下大数据开发环境搭建(4)——Spark环境搭建

标签:启动   evel   ros   自己   java   style   ext   python 2   com   

原文地址:https://www.cnblogs.com/JasonCeng/p/11931267.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!