标签:精确 shell脚本 子目录 不为 时间 生成 逻辑 命令 ken
最近由于工作原因,写了几个脚本,然后再linux中用定时任务去跑,记录一下shell脚本的学习过程吧!
首先知道shell第一行#!/bin/bash表示这是一个shell脚本,例如下面这个简单的脚本:
#!/bin/bash #author:java小新人 #date:20200311 #description:用于清理14天之前日志文件夹 #这里就是要进行进行清理的nas中的目录 baseDir="/usr/local/java/shellscript/store" #服务器中不存在该目录就退出 if [ ! -d ${baseDir} ];then echo "不存在目录:${baseDir}" exit 1 fi #这里指定前段时间第n天日志需要进行清理 num=14 #需要清理的日期转换成时间戳 barrierDate=`date -d "$num days ago" +%F` barrierDateStamp=`date -d "${barrierDate}" +%s` #遍历目录下的所有日志文件进行正则匹配 for file in `ls ${baseDir}`;do #获取目录中文件名中的日期 dirDate=`expr "${file}" : ‘\([0-9]\{4\}\-[0-9]\{2\}\-[0-9]\{2\}\)‘` #目录中的日志文件名没有日期在其中,说明不需要删除,就跳过,进行下一次循环 if [ -z "${dirDate}" ];then continue fi #获取该文件文件名的时间戳,当该时间符合需要清理的时间的时候,再判断一次该目录是否存在,保险一点!存在的话就删除就行了 dirDateTimeStamp=`date -d "${dirDate}" +%s` if [ ${dirDateTimeStamp} -lt ${barrierDateStamp} ];then echo "当前遍历的目录是:${file},目录时间是:${dirDate}" #当前日志目录所在的绝对路径 fileAbsPath="${baseDir}/${file}" if [ -d ${basePath} ];then echo "对${file}文件进行删除" rm -rf ${fileAbsPath} echo "日志目录删除成功:${fileAbsPath}" else echo "删除目录发生错误:${fileAbsPath}" fi fi done
上面的目录中存放的就是每天生成的日志文件,粗略看一下上面这个简单的脚本,由于本人写脚本的水平抠脚,只能用这种很直白的写法,没有任何花里胡哨.....
就是按照java代码那样的逻辑写的,应该都能看得懂,基本上是一些for循环和if判断;还有一个echo语句表示在命令行中输出相关信息,如果使用echo "xxx" >> /usr/local/file_name.log表示将echo输出的信息追加到/usr/local/file_name.log文件中;
注意>和>>的区别,>是覆盖的意思,比如用命令清空一个文件,最简单的就是echo “” > a.txt;而>>表示在文件后面追加,不会覆盖
1.先说说for循环
下面这个就是遍历一个目录下的子目录的,不能遍历文件的哦!那个反引号,表示让系统去执行ls /etc命令,什么叫做让系统去执行呢?就跟我们手动敲这条命令去执行一样;还有一点,就是shell中要使用一个声明好的变量,需要用${xxx}表示,可以不加大括号,习惯加上好看点;
最后就是要以done表示这个for循环结束;
for file in `ls /etc`;do echo ${file} done
2.if语句
if和for写法差不多,下面这个作用是:当根目录下没有Top这个目录,就创建Top目录;注意,if后面的中括号那么多空格,不能少!!!if语句要以fi结尾;
那么问题来了,那个-d是干嘛的呀?下面列出来了很多-xx的,写脚本的时候拿出来看一看就行;发现判断文件或者是字符串是不是空都可以用这种-xx的方式判断;
if [ ! -d "/Top" ]; then mkdir -p /Top
fi
[ -a FILE ] 如果 FILE 存在则为真。 [ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。 [ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。 [ -d FILE ] 如果 FILE 存在且是一个目录则为真。 [ -e FILE ] 如果 FILE 存在则为真。 [ -f FILE ] 如果 FILE 存在且是一个普通文件则为真。 [ -g FILE ] 如果 FILE 存在且已经设置了SGID则为真。 [ -h FILE ] 如果 FILE 存在且是一个符号连接则为真。 [ -k FILE ] 如果 FILE 存在且已经设置了粘制位则为真。 [ -p FILE ] 如果 FILE 存在且是一个名字管道(F如果O)则为真。 [ -r FILE ] 如果 FILE 存在且是可读的则为真。 [ -s FILE ] 如果 FILE 存在且大小不为0则为真。 [ -t FD ] 如果文件描述符 FD 打开且指向一个终端则为真。 [ -u FILE ] 如果 FILE 存在且设置了SUID (set user ID)则为真。 [ -w FILE ] 如果 FILE 如果 FILE 存在且是可写的则为真。 [ -x FILE ] 如果 FILE 存在且是可执行的则为真。 [ -O FILE ] 如果 FILE 存在且属有效用户ID则为真。 [ -G FILE ] 如果 FILE 存在且属有效用户组则为真。 [ -L FILE ] 如果 FILE 存在且是一个符号连接则为真。 [ -N FILE ] 如果 FILE 存在 and has been mod如果ied since it was last read则为真。 [ -S FILE ] 如果 FILE 存在且是一个套接字则为真。 [ FILE1 -nt FILE2 ] 如果 FILE1 has been changed more recently than FILE2, or 如果 FILE1 exists and FILE2 does not则为真。 [ FILE1 -ot FILE2 ] 如果 FILE1 比 FILE2 要老, 或者 FILE2 存在且 FILE1 不存在则为真。 [ FILE1 -ef FILE2 ] 如果 FILE1 和 FILE2 指向相同的设备和节点号则为真。 [ -o OPTIONNAME ] 如果 shell选项 “OPTIONNAME” 开启则为真。 [ -z STRING ] 字符串“STRING” 的长度为零则为真。 或者字符串为NULL时也为真。 [ -n STRING ] 和-z相反,默认不加-n也行,也就是说这个写法和[STRING]是一样的 [ STRING1 == STRING2 ] 如果2个字符串相同。 “=” may be used instead of “==” for strict POSIX compliance则为真。 [ STRING1 != STRING2 ] 如果字符串不相等则为真。
3.数组的遍历
可以看到数组中每个元素用空格分隔就行了,如果是字符串数组也是一样的,例如:dirs=("/log1" "/log2");
注意下面的for循环中有两个小括号啊,括号里面的${#arr(*)}表示数组里面元素的个数,注意和${arr[*]}的区别,这个表示数组中所有的实际元素
arr=(1 2 3 4) for((i=0;${#arr[*])};i++));do echo ${arr[i]} done
上面的for循环也可以用for in循环表示,,如下所示,看到这里应该很多人微微一笑,很多变成语言应该都知道这两种循环吧!
arr=(1 2 3 4) for a in ${arr[*]};do echo ${a} done
4.比较运算
很多时候我们需要比较两个字符串是否相同,如下所示,注意,中括号两边的空格啊!==号两边空格,不要吝啬空格,不然你会发现一些奇葩的错误;
if [ ${a} == ${b} ];then echo "相同" else echo "不相同" fi
那么又有人要问了,数字的比较呢?注意,此时是没有大于号,小于号这种东西的(这里不用转义符号。。)
左边等于右边: $a -eq $b; 左边不等于右边: $a -ne $b; 左边大于右边: $a -gt $b; 左边小于右边: $a -lt $b; 左边大于等于右边: $a -ge $b; 左边小于等于右边: $a -le $b;
这里注意一点东西,=,==和-eq都可以用来比较是否相等,都可以用在if后面的中括号中;在[ ]中=和==效果一样,在(( ))中=表示赋值,而==表示比较;那么eq和==的区别在哪呢?==可以比较字符串和数字,而eq只能比较数字(eq可以比较这样的字符串[ "20" -eq "20" ],不能比较[ "hello" -eq "hello" ],会报错),所以尽量用==;
#!/bin/bash #不会报错,打印false if [ "a" == "" ];then echo "true" else echo "false" fi #会报错 if [ "a" -eq "" ];then echo "true" else echo "false" fi
另外,注意[[ ]]和[ ]的区别,简单说一下,只要你使用[[ ]]那么你想表示&&和||的关系,你可使用这两个符号,也可以使用对应的-a和-o;但是如果你使用的是[ ]那么你只能使用-a和-o,还只能在中括号里面,例如[ 5 -lt 3 ] -o [ 7 -gt 6 ]就会报错;
if [[ 5 -lt 3 || 7 -gt 6 ]];then echo "true" else echo "false" fi if [[ 5 -lt 3 ]] || [[ 7 -gt 6 ]];then echo "true" else echo "false" fi if [ 5 -lt 3 -o 7 -gt 6 ];then echo "true" else echo "false" fi if [ 5 -lt 3 ] && [ 7 -gt 6 ];then echo "true" else echo "false" fi
5.时间
比较常见的就是脚本中处理时间:
获取今天的日期:todayDate=`date -d now +%Y-%m-%d`或者`date +%F` 明天日期:`date -d next-day +%Y-%m-%d`或者`date -d tomorrow +%Y-%m-%d` 昨天日期:`date -d "1 years ago" +%Y-%m-%d` 第n天前的日期:`date -d "n days ago" +%F` 转换成时间戳:stamp=`date -d "${todayDate}" +s`
6.正则匹配
例如一个日志文件是这样的sgffg.log.2020-02-05.2,那么用下面这个正则去匹配,其中${file}表示该日志文件名;
fileDate=`expr "${file}" : ‘.*\([0-9]\{4\}\-[0-9]\{2\}\-[0-9]\{2\}\).*‘`
7.日志脚本
#!/bin/bash #author:java小新人 #date:20200218 #description:主要用于定期备份过期日志 #这里表示可以备份多个目录下的日志文件 baseDirs=( "/home/path1" "/home/path2" "/home/path3" ) #想要备份的地方 storePath="/home/store/path" #这里指定前段时间第n天日志需要进行备份 num=7 #备份成功文件的个数 storeLogFileNum=0 taskStartTime=`date "+%Y-%m-%d %H:%M:%S"` #因为需要把日志按照时间进行分类的,这里获取需要清理日志的那天日期以及时间戳 barrierDate=`date -d "$num days ago" +%F` barrierDateStamp=`date -d "${barrierDate}" +%s` #路径不存在就创建该目录 if [ ! -d ${storePath}/${barrierDate} ];then mkdir -p ${storePath}/${barrierDate} || exit 1 fi #将脚本文件中echo输出的信息追加到文件中,这里该文件不存在就会创建 storeRecord=${storePath}/${barrierDate}/storeRecord.log echo "当前时间为${taskStartTime},对日志文件时间是${barrierDate}的文件开始备份..." >> ${storeRecord} #开始遍历所有需要备份日志的目录 for ((i=0;i<${#baseDirs[*]};i++));do basePath=${baseDirs[i]} #对存日志的路径判断进行处理,该目录不存在的话就进行下一次循环 if [ ! -d ${basePath} ];then # echo "日志文件目录不存在,basePath:${basePath}" continue fi echo "开始对目录${basePath}下的日志文件进行处理" >> ${storeRecord} #判断日志目录下有没有日志文件 folder=`ls ${basePath}` if [ -z ${folder} ];then echo "目录${basePath}中没有任何文件" >> ${storeRecord} continue fi #遍历目录下的所有日志文件进行正则匹配 for file in ${folder};do #获取文件名中的日期 fileDate=`expr "${file}" : ‘.*\([0-9]\{4\}\-[0-9]\{2\}\-[0-9]\{2\}\).*‘` #目录中的日志文件不符合条件筛选条件,说明该文件不需要备份,跳过,进行下一次循环 #这个很重要!!!!!!! if [ -z "${fileDate}" ];then continue fi #不为空就获取该文件文件名的时间戳,当该时间符合需要清理的时间的时候,就移动到目标目录中存起来 fileDateTimeStamp=`date -d "${fileDate}" +%s` if [ ${fileDateTimeStamp} -eq ${barrierDateStamp} ];then #当前日志文件所在的绝对路径 fileAbsPath="${basePath}/${file}" #如果在目标目录中有重名的,这里的-b参数会对目标目录中的同名文件进行备份,不会覆盖 echo "对${file}文件进行备份" >> ${storeRecord} mv -b ${fileAbsPath} ${storePath}/${barrierDate} #日志文件移动成功的计数器 ((storeLogFileNum++)) echo "该文件备份成功" >> ${storeRecord} fi done echo "目录${basePath}下的日志文件处理完毕" >> ${storeRecord} done taskEndTime=`date "+%Y-%m-%d %H:%M:%S"` startSeconds=$(date --date="${taskStartTime}" +%s); endSeconds=$(date --date="${taskEndTime}" +%s); #执行该任务所花费时间,精确到秒 runTime=$((endSeconds-startSeconds))"s" echo "日志备份整理完毕,备份完成时间为${taskEndTime},花费了${runTime},共备份了${storeLogFileNum}个日志文件" >> ${storeRecord} echo >> ${storeRecord} exit 0
我这个脚本在linux定时任务中是每天执行一次,将前面第七天的日志备份,例如今天是3月8号清理3月1号的,3月9号清理3月2号的...,始终保证最新的一个星期的日志不被清理;
备份之后生成的目录是这样的:
8.定时任务
我们肯定不会自己手动去执行这个shell脚本吧!这个时候就要用到linux的定时任务,最重要的时cron表达式;
定时任务分两种,一种是系统级别的定时任务,可以通过vim /etc/crontab打开,但是不建议使用这个,这个文件必须要有root权限才能修改;另外一种是用户级别的定时任务,默认就是当前用户,使用crontab -e打开;
那么问题来了,cron表达式怕写错了怎么办?肯定不会自己傻乎乎的等啊,这里有个在线的cron表达式测试工具https://tool.lu/crontab,可以直接看看你的任务啥时候执行;
最后,注意一点,使用crontab -e打开之后,需要配置你的shell脚本绝对路径,例如0 1 * * * /usr/local/del_file.sh,注意哦!!!要给你的脚本添加可执行权限啊!
chmod +x del_file.sh
标签:精确 shell脚本 子目录 不为 时间 生成 逻辑 命令 ken
原文地址:https://www.cnblogs.com/wyq1995/p/12466193.html