码迷,mamicode.com
首页 > 其他好文 > 详细

spark submit打印gc信息

时间:2018-09-30 18:14:42      阅读:386      评论:0      收藏:0      [点我收藏+]

标签:time   gcd   int   src   日志   自己   log   nbsp   details   

在提交spark-submit时添加参数即可

                                                                                                      //这个是集群运行名称
--conf spark.driver.extraJavaOptions="-Xloggc:/tmp/gc.log -XX:+PrintGCDetails -XX:+PrintGCTimeStamps" --name "test02 "

这个gc.log在集群上不一定在那个节点上,需要自己找,然后查看

 查看日志监控:tail -f  gc.log 

技术分享图片

 

spark submit打印gc信息

标签:time   gcd   int   src   日志   自己   log   nbsp   details   

原文地址:https://www.cnblogs.com/kaiwen03/p/9732691.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!