码迷,mamicode.com
首页 > 其他好文 > 详细

Spark WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.

时间:2020-04-29 12:46:42      阅读:126      评论:0      收藏:0      [点我收藏+]

标签:exp   pre   class   ref   title   tps   环境变量   html   变量   

问题

执行 spark-submit --master local模式时产生warn并达重试数限制失败,导致spark local不能启动:

...

WARN Utils: Service ‘sparkDriver‘ could not bind on port 0. Attempting port 1.

...


原因及解决

估计是机器环境变量问题,可尝试设置

export SPARK_LOCAL_IP="127.0.0.1"
export SPARK_LOCAL_IP="${hostname_ip}"

 

如还不行启动时直接配置driver host:

 

 --conf spark.driver.host=‘127.0.0.1‘

本次使用配置 driver host 解决


参考

https://stackoverflow.com/questions/34601554/mac-spark-shell-error-initializing-sparkcontext

spark-submit配置说明

Spark WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.

标签:exp   pre   class   ref   title   tps   环境变量   html   变量   

原文地址:https://www.cnblogs.com/GO-NO-1/p/12801241.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!