码迷,mamicode.com
首页 > 系统相关 > 详细

SparkStreaming任务保持运行,定时任务监控进程,保证不挂掉

时间:2018-11-14 14:36:06      阅读:616      评论:0      收藏:0      [点我收藏+]

标签:cal   fan   log   htm   hot   echo   ini   style   class   

cron任务:每隔1分钟启动脚本,检查进程是否运行。crontab -e

*/1 * * * * /data/spark/test.sh

检查进程,如果进程挂掉,重新启动Spark任务:

#!/bin/sh
is_Engine_exist=$(ps aux | grep LbsStreamingEngineTJ | grep -v grep | wc -l)
 
if [ $is_Engine_exist = 0 ];then
 
        echo ‘Process Engine is down‘
 
        echo ‘Bring Engine up‘
 
        strDate=`date +%Y%m%d%H%M%S`
 
        strStart="start Engine ${strDate}"
 
        echo "${strStart}" >> /data1/log.txt
 
        nohup /data1/spark-1.6.0/bin/spark-submit --master  spark://localhost:7077 --name LbsStreamingEngineTJ --class com.datafactory.streaming.LbsStreamingEngineTJ --executor-memory 512m --total-executor-cores 2 /data1/work/datafactory-0.1.0-SNAPSHOT1023.jar &
 
        echo ‘Bring Engine finished ‘
 
else
 
        strDate=`date +%Y%m%d%H%M%S`
 
        strRun="running ${strDate}"
 
        echo "${strRun}" >> /data1/log.txt
 
fi

 

SparkStreaming任务保持运行,定时任务监控进程,保证不挂掉

标签:cal   fan   log   htm   hot   echo   ini   style   class   

原文地址:https://www.cnblogs.com/Bread-Wang/p/9957294.html

(1)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!