Linux系统定时任务crond那些事

Crond是linux系统中用来定期执行命令或指定程序任务的一种服务或软件。Centos5/6 linux系统安装完操作系统默认会启动crond任务调度服务，系统开机启动优化保留crond服务开机自启动。
Crond服务定期（默认是每分钟检查一次）检查系统中是否有要执行的任务工作。这个crond定时任务服务就相当于我们平时使用的闹钟一样。特殊需求：（秒级别）crond服务搞不定了，工作中一般写脚本守护程序执行。

程序文件：程序代码组成，但是没有在计算机内执行，即当前没有执行
进程：所谓的进程就是计算机中正在执行的程序
守护程序或守护进程：守护进程就是一直运行的程序（linux运行必须要启动的程序）

#linux优化内容，保留sshd|network|rsyslog|crond|sysstat这五个服务
[root@oldboy oldboy]# chkconfig --list | grep "3:on" | grep -Ev "sshd|network|rsyslog|crond|sysstat" | awk ‘{print "chkconfig",$1,"off"}‘| bash
#查看linux系统当前正在运行的服务
[root@oldboy oldboy]# chkconfig --list | grep "3:on"  
crond           0:off   1:off   2:on    3:on    4:on    5:on    6:off
network         0:off   1:off   2:on    3:on    4:on    5:on    6:off
rsyslog         0:off   1:off   2:on    3:on    4:on    5:on    6:off
sshd            0:off   1:off   2:on    3:on    4:on    5:on    6:off
sysstat         0:off   1:on    2:on    3:on    4:on    5:on    6:off

[root@oldboy mail]# ls -l /var/log/messages*    ->系统日志
-rw------- 1 root root 416686 Apr 30 12:41 /var/log/messages
-rw------- 1 root root 403072 Apr  9 19:41 /var/log/messages-20180409
-rw------- 1 root root 604646 Apr 14 19:15 /var/log/messages-20180415
-rw------- 1 root root 546051 Apr 22 01:00 /var/log/messages-20180422
-rw------- 1 root root 719102 Apr 29 15:06 /var/log/messages-20180429
[root@oldboy mail]# ls -l /var/log/secure*    ->安全日志
-rw------- 1 root root  8957 Apr 30 12:41 /var/log/secure
-rw------- 1 root root  7237 Apr  9 20:31 /var/log/secure-20180409
-rw------- 1 root root 21111 Apr 15 01:32 /var/log/secure-20180415
-rw------- 1 root root 11403 Apr 22 01:06 /var/log/secure-20180422
-rw------- 1 root root 15812 Apr 29 16:11 /var/log/secure-20180429

[root@oldboy mail]# ls -l /etc/ | grep "cron"
-rw-------.  1 root root    541 Nov 23  2013 anacrontab
drwxr-xr-x.  2 root root   4096 Mar 24 21:40 cron.d
drwxr-xr-x.  2 root root   4096 Mar 24 21:40 cron.daily
-rw-------.  1 root root      0 Nov 23  2013 cron.deny
drwxr-xr-x.  2 root root   4096 Mar 24 21:39 cron.hourly
drwxr-xr-x.  2 root root   4096 Mar 24 21:40 cron.monthly
drwxr-xr-x.  2 root root   4096 Sep 27  2011 cron.weekly
-rw-r--r--.  1 root root    457 Sep 27  2011 crontab
[root@oldboy mail]# cd /etc/logrotate.d/
[root@oldboy logrotate.d]# ls
dracut  httpd  psacct  syslog  vsftpd  yum
[root@oldboy logrotate.d]# vim syslog 
/var/log/cron
/var/log/maillog
/var/log/messages
/var/log/secure
/var/log/spooler
{
    sharedscripts
    postrotate
        /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
    endscript
}
~                                                                                  
设置文件：/etc/logrotate.conf

[root@oldboy ~]# which ntpdate  ->查看ntpdate二进制命令所在路径
/usr/sbin/ntpdate
[root@oldboy ~]# ps -ef | grep ntpdate
root       3276   2534  0 16:06 pts/3    00:00:00 grep --color=auto ntpdate
[root@oldboy ~]# crontab -l |tail -2     
#time sync by Wolf_Dreams 2018-05-01
*/5 * * * * /usr/sbin/ntpdate time1.aliyun.com > /dev/null 2>&1
补充说明（阿里云公共NTP服务器）：
1)    Unix类系统：time1-7.aliyun.com
2)    Windows： time.pool.aliyun.com

名称描述：
crontab - maintain crontab files for individual users
使用格式：
crontab [-u user] file
crontab [-u user] [-l | -r | -e] [-i] [-s]
选项参数说明：
-u    指定用户名
-e    使用编辑器创建定时任务
-l    显示目前设置的定时任务
-r    删除定时任务
-i    删除定时任务给出确认是否删除的提示信息
-s    selinux security context

通过crontab我们可以在固定的间隔时间执行指定的系统指令或script脚本。时间间隔的单位是分钟，小时，日，月，周及以上的任意组合（注意：日和周不要组合）

[root@oldboy ~]# cat /etc/crontab
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed

默认情况下，当用户建立定时任务规则后，该规则记录对应的配置文件会存在于/var/spool/cron中，其crontab配置文件对应的文件名与登录的用户名一致，如：root用户的定时任务配置文件为/var/spool/cron/root。
crontab定时任务的书写格式很简单，用户的定时任务规则一般分为6个段（每个段通过空格来分隔，系统的定时任务为/etc/crontab，分为7段，空格来分隔），前五段为时间的设定段，第六段为所要执行的命令或脚本任务段

01 * * * * cmd
02 4 * * * cmd
22 4 * * 0 cmd
42 4 1 * * cmd
分 时 日 月 周 任务

段    含义    取值范围（整数）
第一段    代表分钟    00-59
第二段    代表小时    00-23
第三段    代表日，天    01-31
第四段    代表月份    01-12
第五段    代表星期，周几    0-7（0和7都代表星期日）
提示：时间记忆口诀：分时日月周，取值范围：正常日期时间范围

[root@oldboy ~]# chkconfig --list crond 
crond           0:off   1:off   2:on    3:on    4:on    5:on    6:off
[root@oldboy ~]# /etc/init.d/crond status
crond (pid  1412) is running...
[root@oldboy ~]# ps -ef | grep crond | grep -v grep
root       1412      1  0 10:29 ?        00:00:00 crond
[root@oldboy ~]# /etc/init.d/crond restart
Stopping crond:                                            [  OK  ]
Starting crond:                                            [  OK  ]
提示：安装完Centos系统后开机启动任务优化，要保留crond定时任务的服务

30 3,12 * * * /bin/sh /scripts/oldboy.sh
本例中，第一列为30，表示30分钟，第二列为3,12，表示凌晨3点及中午12点，此定时任务的意思是每天凌晨3点和中午12点的半点时刻（或每天凌晨3:30和中午12:30）执行/scripts/oldboy.sh脚本

30 */6 * * * /bin/sh /scripts/oldboy.sh
本例中，第一列为30，表示30分钟，第二列为*/6，表示每6个小时，也相当于6,12,18,24的作用，此定时任务的意思是每隔6个小时的半点时刻执行/scripts/oldboy.sh脚本

30 8-18/2 * * * /bin/sh /scripts/oldboy.sh
本例中，第一列为30，表示30分钟，第二列为8-18/2，表示从早上8点到下午18点之间每隔2个小时，也相当于8,10,12,14,16,18单独列出的作用，此定时任务的意思是早上8点到下午18点之间
每隔2个小时的半点时刻执行/scripts/oldboy.sh脚本

30 21 * * * /etc/init.d/httpd restart
本例中表示每晚的21:30重启apache服务

45 4 1,10,22 * * /etc/init.d/httpd restart
本例中表示每月1、10、22日的凌晨4:45分重启apache服务

10 1 * * 6,0 /etc/init.d/httpd restart
本例中表示每周六、周日的凌晨1:10分重启apache服务

0,30 18-23 * * * /etc/init.d/httpd restart
本例中表示每天18:00到23:00之间每隔30分钟重启apache服务
提示：最后一次执行任务的时间是23:30

00 */1 * * * /etc/init.d/httpd restart
本例中表示每隔一个小时整点重启apache服务

* 23,00-07/1 * * * /etc/init.d/httpd restart
本例中并不表示晚上23点和早上0-7点之间每隔一个小时重启apache服务
提示：以上的结果是不规范的，也是不对的
以上的定时任务的第一列为*，表示每分钟都执行任务即晚上23点和早上0-7点之间每隔一小时的每分钟都重启apache服务

00 11 * 4 1-3 /etc/init.d/httpd restart
本例中表示表示4月的每周一到周三的上午11点整重启apache服务
强调：周和日不要同时使用，否则可能达不到想要的效果

[root@oldboy ~]# crontab -l
#time sync by Wolf_Dreams 2018-05-01
*/5 * * * * /usr/sbin/ntpdate time1.aliyun.com > /dev/null 2>&1

[root@oldboy ~]# crontab –l
###tar /var/www/html file /data
00 00 * * * /bin/sh /root/oldboy/backup_html.sh > /dev/null 2>&1

[root@oldboy ~]# crontab –l
###tar /var/www/html file /data
00 00 * * * /bin/sh /root/oldboy/backup_html.sh > /dev/null 2>&1

[root@oldboy ~]# crontab –l
###tar /var/www/html file /data
00 00 * * * /bin/sh /root/oldboy/backup_html.sh > /dev/null 2>&1

[root@oldboy ~]# crontab –l
###tar /var/www/html file /data
00 00 * * * /bin/sh /root/oldboy/backup_html.sh > /dev/null 2>&1

[root@oldboy ~]# ls -l /dev/null
crw-rw-rw- 1 root root 1, 3 May  1 10:28 /dev/null

>或1>   输出重定向：把前面输出的东西输入到后边的文件中，会删除文件原有内容。
>>或1>>追加重定向：把前面输出的东西追加到后边的文件中，不会删除文件原有内容。
<或<0   输入重定向：输入重定向用于改变命令的输入，指定输入内容，后跟文件名。
<<或<<0输入重定向：后跟字符串，用来表示“输入结束”，也可用ctrl+d来结束输入。
2>       错误重定向：把错误信息输入到后边的文件中，会删除文件原有内容。
2>>     错误追加重定向：把错误信息追加到后边的文件中，不会删除文件原有内容。
标准输入（stdin）：代码为0，使用<或<<。
标准输出（stdout）:代码为1，使用>或>>。正常的输出。
标准错误输出（sederr）：代码为2，使用2>或2>>。
特殊：
2>&1就是把标准错误重定向到标准输出（>&）。
>/dev/null 2>&1 等价于 1>/dev/null  2>/dev/null

如果定时任务规范结尾不加 >/dev/null 2>&1,很容易导致硬盘inode（索引节点）空间被占满，会出现no space left on device提示信息，从而导致系统服务不正常（如果系统是centos 5版本默认安装sendmail，
var/spool/clientmqueue邮件临时队列目录，垃圾文件存放于此，如果系统是centos 6版本，默认不装sendmail服务，但是默认安装postfix服务且处于开启状态，垃圾文件存放目录是：/var/spool/postfix
/maildrop）
提示：/var/spool/postfix/maildrop产生大量的垃圾小文件，是因为crond定时任务服务与邮件服务是相关联的，执行定时任务要向定义定时任务的用户发送邮件（邮件内容cron执行脚本中的output和warning信息），
当postfix服务处于关闭状态的时候，cron服务发送邮件就发不出去，就会大量堆在/var/spool/postfix/maildrop目录

[root@oldboy ~]# ps -ef | grep postfix | grep -v grep
root       1348      1  0 10:29 ?        00:00:00 /usr/libexec/postfix/master
postfix    1358   1348  0 10:29 ?        00:00:00 qmgr -l -t fifo -u
postfix    2741   1348  0 14:17 ?        00:00:00 pickup -l -t fifo -u
[root@oldboy ~]# lsof -i :25
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
master  1348 root   12u  IPv4  11032      0t0  TCP localhost:smtp (LISTEN)
master  1348 root   13u  IPv6  11034      0t0  TCP localhost:smtp (LISTEN)
[root@oldboy maildrop]# /etc/init.d/postfix status
master (pid  1348) is running...

[root@oldboy ~]# df -i
Filesystem     Inodes IUsed  IFree IUse% Mounted on
/dev/sda3      577088 53322 523766   10% /
tmpfs           60785     1  60784    1% /dev/shm
/dev/sda1       51200    38  51162    1% /boot
/dev/sr0            0     0      0     - /mnt

[root@oldboy ~]# ls -l /var/spool/postfix/maildrop/

[root@oldboy maildrop]# /etc/init.d/postfix restart
Shutting down postfix:                                     [  OK  ]
Starting postfix:                                          [  OK  ]
或者采用”vi /etc/crontab” 修改crontab定时任务配置文件
将‘MAILTO=root’替换成‘MAILTO=""’，然后service crond restart即可；如果还不行在crontab –e第一行直接增加MAILTO=""

[root@oldboy ~]# cd /var/spool/postfix/maildrop
[root@oldboy maildrop]# ls | xargs rm –rf
或者使用find查找并删除文件
[root@oldboy ~]# find /var/spool/postfix/maildrop/ -type f | xargs rm -rf

这里要特别注意不同用户的环境变量问题，如果是调用了系统环境变量/etc/profile，最好在程序脚本中将用到的环境变量重新export下。

在调试好脚本程序后，应尽量把DEBUG及命令输出的内容信息屏蔽掉，如果确实需要输出日志，可定向到日志文件里，避免产生系统垃圾。

?    首先要在命令行操作成功，然后复制成功的命令到脚本里，在各个细小环境减少出错的机会。
?    然后测试脚本，测试成功后，复制脚本的规范路径到定时任务配置里，不要手敲。
?    先在测试环境下测试，然后正式环境规范部署。

规范的公司开发和运维人员操作流程：个人的开发配置环境-->办公室的测试环境-->idc机房的测试环境-->idc机房的正式环境（分组，灰度发布）

在调试时，把任务执行频率调快，比如每分钟或者系统时间之后5分钟执行，看结果执行是否可以正确执行，如果正常，那就没问题了，再改成需要的任务的执行时间
注意：有些任务时不允许频繁执行的，例如：定时往数据库里插入数据，这样的任务要在测试机上测试好，然后正式线上出问题的机会就少了。

用正确的执行任务的时间，设置完成后，可以修改下系统当前时间，改成任务执行时间的前几分钟来测试（或者重启定时任务服务）

在脚本中加入日志输出，然后把输出打到指定的日志中，然后观察日志内容的结果，看是否正确执行，如下面例子中标绿部分/tmp/crontab.log（脚本日志）
[root@oldboy ~]# crontab -l
#time sync by Wolf_Dreams 2018-05-01
*/5 * * * * /usr/sbin/ntpdate time1.aliyun.com > /tmp/crontab.log

注意： */1 * * * * echo "+" > /root/oldboy/oldboy.log >/dev/null 2>&1这里隐藏的无法正确执行的任务配置，原因是前面多了>,或者去掉结尾的 >/dev/null 2>&1
（定时任务中重定向输出只能使用一次，不能使用两次或多次）
正确写法：
[root@oldboy ~]# crontab -l
#echo + oldboy.log file by wolf_dreams 2018-05-01
*/1 * * * * echo "+" > /root/oldboy/oldboy.log
错误写法：
[root@oldboy ~]# crontab -l
#echo + oldboy.log file by wolf_dreams 2018-05-01
*/1 * * * * echo "+" > /root/oldboy/oldboy.log > /dev/null 2>&1

在调试java程序任务的时候，注意环境变量，把环境变量的定义加到脚本里
例子：
[root@oldboy oldboy]# cat /root/oldboy/task.sh 
#!/bin/bash
JAVA_HOME="/opt/jdk1.6.0_18"
CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:/opt/nginx-0.7.61/sbin:/opt/jdk1.6.0_18/bin:/opt/resin-3.0.25/bin:$PATH
export JAVA_HOME PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC CLASSPATH
/usr/local/bin/xxresin_stop.sh
/usr/local/bin/xxresin_start.sh

[root@oldboy ~]# tail -f /var/log/cron
May  1 21:45:40 oldboy crontab[3835]: (root) END EDIT (root)
May  1 21:46:01 oldboy crond[3505]: (root) RELOAD (/var/spool/cron/root)
May  1 21:46:01 oldboy CROND[3838]: (root) CMD (echo "+" > /root/oldboy/oldboy.log)
May  1 21:47:01 oldboy CROND[3840]: (root) CMD (echo "+" > /root/oldboy/oldboy.log)
May  1 21:47:26 oldboy crontab[3841]: (root) BEGIN EDIT (root)
May  1 21:48:01 oldboy CROND[3844]: (root) CMD (echo "+" > /root/oldboy/oldboy.log)
May  1 21:49:01 oldboy CROND[3846]: (root) CMD (echo "+" > /root/oldboy/oldboy.log)
May  1 21:50:01 oldboy CROND[3850]: (root) CMD (/usr/sbin/ntpdate time1.aliyun.com > /dev/null 2>&1)
May  1 21:50:01 oldboy CROND[3852]: (root) CMD (echo "+" > /root/oldboy/oldboy.log)
May  1 21:50:01 oldboy CROND[3853]: (root) CMD (/usr/lib64/sa/sa1 1 1)

[root@oldboy oldboy]# sh -x 
sh-4.1#  
sh-4.1# exit
[root@oldboy oldboy]#