码迷,mamicode.com
首页 > 其他好文 > 详细

spark伪分布式的安装

时间:2016-10-04 16:29:33      阅读:156      评论:0      收藏:0      [点我收藏+]

标签:

不依赖hadoop

百度分享安装包地址:http://pan.baidu.com/s/1dD4BcGT 点击打开链接

解压 并重命名:

 技术分享

 

进入spark100目录:

修改配置:

Cd conf

配置单击节点,故只需要写本机的hostname就可以了。

技术分享

 

重命名Spark-env.sh.template 为 spark-env.sh

增加配置项: 

  1. export SPARK_MASTER_IP=icity1  
  2. export SPARK_MASTER_PORT=7077  
  3. export SPARK_WORKER_CORES=1  
  4. export SPARK_WORKER_INSTANCES=1  
  5. export SPARK_WORKER_MEMORY=1g 
  6. export JAVA_HOME=/jdk/jdk1.7.0_65(提前配置好java环境)

如图所示:

 

技术分享

 启动

技术分享

 

监控页面效果:

 技术分享

 

 

 

进入spark-shell:(运行完后点击回车键就可以写scala代码)

 技术分享

 

 

 

 

 

 技术分享

 

 

选用了外部文件:

技术分享

 

区别于hdfs的读取方式:

 

 技术分享

 

 技术分享

 

技术分享

 

 

退出spark-shell:exit

 技术分享

 

 

spark伪分布式的安装

标签:

原文地址:http://www.cnblogs.com/ITxiaojiayu/p/5930571.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!