Spark History Server配置使用

1、Spark History Server的作用 
在运行Spark应用程序的时候，driver会提供一个webUI用于展现应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口。也就是说，这个服务是伴随Spark应用程序的运行周期的，也就是当应用程序运行完成后，将无法查看应用程序的历史记录。Spark History Server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark history server可以将这些运行信息装载并以web的方式供用户浏览 
伴随Spark应用程序而启动的web查看服务的默认端口号是4040，或者4041(如果当前端口被占用，比如4040被占用，那么Spark会抛一个异常，但是不影响应用继续运行，driver会使用这个已用的端口加1，以此类推) 
2、配置&使用Spark History Server 
（1）修改yarn-site.xml（需要重启所有NodeManager生效）

<property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
</property>

用命令查看日志 

bin/yarn logs –applicationId application_xxxx_xxx（只能查看运行完之后的作业日志） 

（2）修改yarn-site.xml（需要重启所有NodeManager生效）

<property>
      <name>yarn.log.server.url</name>
      <value>http://scbnode1:19888/jobhistory/logs</value>
</property>

（3）修改conf/spark-default.conf（下面的目录/tmp/spark/events事先在HDFS创建好）

spark.yarn.historyServer.address=scbnode1:18080
spark.history.ui.port=18080
spark.eventLog.enabled=true
spark.eventLog.dir=hdfs://scbnode1:9000/tmp/spark/events
spark.history.fs.logDirectory=hdfs://scbnode1:9000/tmp/spark/events

（4）启动Spark History Server

sbin/start-history-server.sh

（5）Spark History Server地址

http://scbnode1:18080/