码迷,mamicode.com
首页 > 其他好文 > 详细

Spark安装(单机版)

时间:2020-01-28 15:40:38      阅读:53      评论:0      收藏:0      [点我收藏+]

标签:过滤   lock   wget   重命名   配置   soft   out   查看   centos   

1. 下载安装

官网下载

选择版本和type,这里为 spark-2.4.4-bin-without-hadoop.tgz

1.1 命令下载:

1 cd ~/software
2 wget http://apache.communilink.net/spark/spark-2.4.4/spark-2.4.4-bin-without-hadoop.tgz

1.2 解压重命名

1 tar -xzvf spark-2.4.4-bin-without-hadoop.tgz
2 mv spark-2.4.4-bin-without-hadoop.tgz spark

1.3 配置环境变量

使用vim编辑~/.bashrc文件,加入以下配置(目录换成自己的安装目录):
1 export SPARK_HOME=/software/spark 
2 export PATH=$PATH:$SPARK_HOME/bin
使用source命令使配置生效: source ~/.bashrc
可以使用echo $PATH 输出查看是否正确

2. 简单配置

2.1 安装scala并配置环境变量

2.2 配置spark-env.sh变量环境

位置: $SPARK_HOME/conf/spark-env.sh.template

命令:

1 cd /software/spark/conf
2 # 复制并重命名
3 cp spark-env.sh.template spark-env.sh
4 vim spark-env.sh

配置:

1 # hadoop java scala等须安装好并配置好 环境变量
2 export JAVA_HOME=/usr/local/java/jdk1.8
3 export SCALA_HOME=/software/scala
4 export SPARK_HOME=/software/spark
5 # 单机版配置为本机 ip
6 export SPARK_MASTER_IP=127.0.0.1
7 export SPARK_EXECUTOR_MEMORY=1G
8 export SPARK_DIST_CLASSPATH=$(hadoop classpath)

2.3 配置slaves

文件位置: $SPARK_HOME/conf/slaves.template

命令:

1 cd /software/spark/conf
2 # 复制并重命名
3 cp slaves.template slaves
4 vim slaves

配置:

1 localhost

2.4 执行示例程序

在 $SPARK_HOME/examples/src/main 目录下有一些 Spark 的示例程序,有 Scala、Java、Python、R 等语言的版本。我们可以先运行一个示例程序 SparkPi(即计算 π 的近似值),执行如下命令:

1 [root@VM_0_8_centos spark]# ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
2 Pi is roughly 3.1369756848784243
3 [root@VM_0_8_centos spark]# 

注:执行时会输出非常多的运行信息,输出结果不容易找到,可以通过 grep 命令进行过滤(命令中的 2>&1 可以将所有的信息都输出到 stdout 中,否则由于输出日志的性质,还是会输出到屏幕中):

2.5 启动/停止:

1 # 启动shell
2 spark-shell
3 
4 # 关闭
5 ctrl+d

Tips:常见错误

参见

 

Spark安装(单机版)

标签:过滤   lock   wget   重命名   配置   soft   out   查看   centos   

原文地址:https://www.cnblogs.com/dintalk/p/12234718.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!