码迷,mamicode.com
首页 > 其他好文 > 详细

spark笔记

时间:2015-11-17 12:44:18      阅读:131      评论:0      收藏:0      [点我收藏+]

标签:


运行任务的时候,有一些中间数据需要写集群的worker的目录,默认是写/tmp目录
 
spark-env.sh 增加
export SPARK_WORKER_DIR=/data/spark/work
export SPARK_LOCAL_DIRS=/data/spark/data
 
需要先创建好目录给777权限

mkdir -p /data/spark/work
mkdir -p /data/spark/data
chmod 777 /data/spark/data
chmod 777 /data/spark/work

 

# - SPARK_WORKER_DIR, to set the working directory of worker processes

# - SPARK_LOCAL_DIRS, storage directories to use on this node for shuffle and RDD data

spark笔记

标签:

原文地址:http://www.cnblogs.com/wedata/p/4970983.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!