码迷,mamicode.com
首页 > 其他好文 > 详细

小记---------手动执行脚本正常执行,使用crontab定时执行时 不执行

时间:2019-10-10 15:56:51      阅读:160      评论:0      收藏:0      [点我收藏+]

标签:mic   手动   yar   info   bash   dep   etc   tor   init   

可能出现的原因就是因为crontab不会从用户的/etc/profile文件中读取环境变量,所以就出现 使用定时crontab执行时 无法执行 抛错

所以在使用crontab 定时执行脚本时  在脚本中尽量使用绝对路径,除去全局变量以外

解决方法:

1.技术图片

 

 直接把/etc/profile文件中配置的spark的环境变量写到脚本的开头,使它在执行脚本之前先加载spark的环境变量即可

2.直接在脚本中添加即可

#!/bin/bash
#此处添加如下
./etc/profile

 num_executors=3
 executor_memory=2g
 driver_memory=2g
 executor_cores=2
 realtime_queue=root
 # backpressure
 receiver_max_rate=100
 receiver_initial_rate=30
 my_job_name="cron"
 main_class="com.df.Crontab_reservation"

 spark-submit --master yarn --deploy-mode cluster \
 --name ${my_job_name} \
 --class ${main_class} \

 

小记---------手动执行脚本正常执行,使用crontab定时执行时 不执行

标签:mic   手动   yar   info   bash   dep   etc   tor   init   

原文地址:https://www.cnblogs.com/yzqyxq/p/11648059.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!