标签：存储 dir pre cal default gdi park ati 修改
1.首先需要创建spark.history.fs.logDirectory
hadoop fs -mkdir hdfs://ns1:9000/user/hadoop/logs
2.修改hadoop-defaults.conf,添加如下内容
spark.eventLog.enabled true #允许开启日志 spark.eventLog.dir hdfs://ns1:9000/user/hadoop/logs #日志存储目录 spark.eventLog.compress true #日志压缩
修改spark-env.sh 添加如下内容
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://ns1:9000/user/hadoop/logs"
-Dspark.history.ui.port=7777 #设置日志监控端口
-Dspark.history.retainedApplications=3 #设置最多保留几个历史任务
-Dspark.history.fs.logDirectory=hdfs://ns1:9000/user/hadoop/logs #设置日志目录
3.启动日志服务
sh /usr/local/spark-2.1.0-bin-hadoop2.7/sbin/start-history-server.sh
标签：存储 dir pre cal default gdi park ati 修改
原文地址：https://www.cnblogs.com/jason-dong/p/9451897.html
