标签：linux运维
Linux运维 第二阶段 （九）shell编程
一、1、基础正则表达式：
* 前一个字符匹配0次或任意多次
. 匹配除了换行符外任意一个字符
^ 匹配行首，例：^Hello,匹配以Hello开头的行
$ 匹配行尾，例：Hello$匹配以Hello结尾的行
[] 中括号中指定的一个字符，例：[0-9]、[a-z]
[^] 匹配中括号字符以外的任意一个字符，例：[^0-9]、[^a-z]
\ 转义符，取消特殊符号的含义
\{n\} 表示其前面的字符恰好出现n次，例：[0-9]\{4\}、手机号[1][3-8][0-9]\{9\}
\{n,\} 表示其前面的字符出现不小于n次，例：[0-9]\{2,\}表示2位以上的数字
\{n,m\} 表示其前面的字符至少出现n次，最多出现m次，例：[a-z]\{6,8\}表示6到8位小写字母
2、扩展正则表达式：#grep–E 或 egrep
+ 前一个字符匹配1次或任意多次
？ 前一个字符出现0次或1次，例：colou?r匹配colour和color
| 匹配两个或多个分支选择，例：was|his,匹配包含was的行，也包含his的行
() 匹配其整体为一个字符，即模式单元，可理解为由多个单个字符组成的大字符，例：（dog）会出现dog,dogdog,dogdogdog等；hello(world|earth),匹配hello worlda或hello earth
注：grep、awk、sed等命令支持正则表达式；ls、find、cp支持shell通配符
3、#grep “a*” t.txt （匹配任何内容
#grep“aa*” t.txt （匹配至少包含一个a的行
#grep“aaa*” t.txt （匹配至少包含二个a 的行
#grep“s..d” t.txt （匹配s和d之间一定有2个字符的单词
#grep“s.*d” t.txt （匹配s和d之间有任意个字符
#grep“^M” t.txt （匹配以M开头的行
#grep“N$” t.txt （匹配以N结尾的行
#grep“^$” t.txt （匹配空白行
#grep“^….$” t.txt （匹配四个字符的行
#grep“[0-9]” t.txt （匹配含数字的行
#grep“^[a-z]” t.txt （字母开头的行
#grep“[^A-Z]” t.txt （非大写字母的行
#grep“\.$” t.txt （以点结尾的行
#grep“a\{3\}” t.txt （三个连续a的行
#grep“[0-9]\{3,\} t.txt （至少三个数字开头的行
#grep“[su]a\{3,\}[iI] t.txt （s或u和i或I之间至少有三个连续的a
#grep“sa\{1,3\}i” t.txt （s和i之间最少有1个a最多有3个a
二、字符截取和替换命令
1、#cut 选项 文件名
-f列号 fields提取第几列
-d“分隔符” delimiter指定分隔符
-c字符范围 通过字符范围进行字段提取，行首为0；“n-”表示从第n个字符到行尾；“n-m”表示从第n个字符到第m个字符；“-m”表示从第1个字符到第m个字符
例：#cut –f 2s.txt
#cut–f 2,3 s.txt
#cut–c 8- s.txt
#cut–d “:” –f 1,3 s.txt
2、awk编程
>#printf ’输出类型输出格式’ 输出内容
输出类型：
%ns 输出字符串，n指代输出几个字符
%ni 输出整数，n指代输出几个数字
%m.nf 输出浮点数，m代表总数位，n是小数位。例：%8.2f表示6位整数，2位小数
例：#printf ‘%s’$(cat s.txt)
#printf‘%s\t%s\t%s\t%s\t \n’ $(cat s.txt)
#printf‘%i\t%s\t%i\t%8.2f \n’ $(cat s.txt) ｜ grep –v Name
awk ‘条件1{动作1} 条件2{动作2}……’ 文件名
动作：格式化输出，流程控制语句
注：在awk编程中因命令语句长，输入格式时需注意：
》多个条件{动作}可用空格分割也可用回车分割；
》在一个动作中，如果需要执行多个命令，要用分号分割或用回车分割；
》变量的赋值与调用都不用加$符号；
》条件判断两个值是否相同使用＝＝，不要和变量赋值混淆。
例：#awk ‘{printf$2 “\t” $6 “\t” “\n” }’ s.txt （printf输出时在输出格式的最后要加“\n”，而print则不用。
#df–h | awk ‘{print $2 “\t” $6}’ s.txt
#cats.txt | grep –v Name | awk ‘$6 >= 87 {print $2}’ (加入条件后，只有条件成立动作才执行
#awk‘BEGIN {print “this is a transcript”} {print $2 “\t” $6}’ s.txt （awk只要检测不到完整的‘’就不会执行，所以不用加换行符；BEGIN在读取数据前仅执行一次
#awk‘END {print “The end!”} {print $2 “\t” $3}’ s.txt
#awk‘$2 ~ /sb/ {print $6}’ s.txt （第二个字段包含有sb则打印第六字段
#awk‘/sd/ {print}’ s.txt （打印sd的成绩
#df–h | awk ‘/sda[0-9]/ {print $1 “\t” $5}’
#cat/etc/passwd | grep “/bin/bash” | awk ‘BEGIN{FS=”:”} {print $1 “\t” $3}’
#cat/etc/passwd | grep “/bin/bash” | awk ‘BEGIN{FS=”:”} {print $1 “\t” $3 “\t 行号：”\
>NR “\t 字段数： “ NF}’ （NR总数据的第几行，NF总字段数
注：awk是列提取命令，但也要按行来读入，执行过程：
》如有BEGIN，则先执行BEGIN定义的动作；
》读入第一行，第一行的数据依次赋予$0,$1,$2等变量，$0代表此行的整体数据，$1代表第一个字段，$2代表第二个字段；
》依据条件判断动作是否执行，符合执行，否则读入下一行数据，若没条件，则每行都执行动作
》读入下一行数据，重复以下步骤。
#awk‘NR==2 {php1=$3}
NR==3{php2=$3}
NR==4{PHP=$3;total=php1+php2+php3;print”total php is ” total}’ s.txt
#awk‘NR>=2 {test=$4}
test>90{print $2 “is a good man!”}’ s.txt
function函数名 （参数列表）{
函数体
}
#awk ‘functiontest(a,b) {print a “\t” b}
{test($2,$6)}’ s.txt
#vipass.awk
BEGIN‘{FS=”:”}
{print$1 “\t” $3}
#awk–f pass.awk /etc/passwd
3、sed（streameditor，对文本文件和标准输入进行编辑，键盘输入、文件重定向、字符串、变量、来自管道的文本
#sed选项 ‘动作’文件名
-n 有此项，输出时只会显示sed处理的行
-e 对输入数据应用多条sed命令编辑
-f脚本文件 与#awk –f类似
-r 支持正则表达式
-I 直接修改源文件中数据，而不是由屏幕输出
动作：
a\ append追加，在当前行后添加一行或多行，每行末尾用\代表数据未完，最后一行不用
c\ 行替换，用c后面的字符串替换原数据行，多行时用\代表数据未完，最后一行除外
i\ insert在当前行前插入一行或多行，多行时每行末尾用\代表数据未完，最后一行除外
d 删除指定的行
p 打印输出指定的行
s 字符替换，格式：行范围s/旧字串/新字串/g
行数据操作：例子：
#sed–n ‘2p’ s.txt
#sed‘2,4d’ s.txt
#sed‘2a hello’ s.txt
#sed‘2i hello \
>world’s.txt （行末用\代表数据未完，在第二行前插入两行数据
#sed–n ‘2i’ hello \
>world’s.txt （仅显示处理的行
#cats.txt |sed ‘2c No such person’ （将第二行替换
#sed–i ‘2c No such a person’ s.txt（直接处理文件数据，-i谨慎使用
字串替换：例子：
#sed‘s/旧/新/g’ s.txt
#sed‘3s/74/99/g’ s.txt
#sed‘4s/^/#/g’ s.txt
#sed–e ‘s/sb//g ; s/sd//g’ s.txt
三、字符处理命令
》#sort 选项 文件名
-f 忽略大小写ignore-case(foldlower case to upper case characters)
-b 忽略每行前面的空白部分ignoreleading blanks
-n 以数值排序numeric-sort
-r 反射排序reverse
-u 排除重复行,同uniqu命令
-t 指定分隔符，默认是制表符
-kn[,m] 按指定的字串范围，从n字段开始，m字段结束（默认到行尾）
例：#sort/etc/passwd
#sort–r /etc/passwd
#sort–t “:” –k 3,3 /etc/passwd (只用第3字段排序
#sort–n –t “:” –k 3,3 /etc/passwd
》#uniq 选项 文件名 (-i 忽略大小写
》#wc 选项 文件名 (-l,line;-w,word;-m字符数
四、条件判断
1、文件类型判断：
例：#[ -e /root/sh/ ]
#echo$?
#[ -d /root/sh ] && echo “yes”|| echo “no”
2、文件权限判断：
#[ -w s.txt ]&& echo “yes” ||echo “no”
3、两个文件之间进行比较：
#[ /root/s.txt -ef /tmp/sut.txt ] && echo “yes”|| echo "no” （判断是否硬链接
4、两个整数之间比较：
#[ 23 -ge 22 ]&& echo “yes” || echo “no”
5、字符串的判断：
#[ -z “$name” ] && echo “yes” || echo “no”
6、多重条件判断：
#[ -n “$aa” -a -n “$aa” -gt 23] && echo “yes” || echo “no”
五、流程控制：
1、if条件判断：
》单分支：
if[ 条件判断式 ];then
程序
fi
或
if[ 条件判断式 ]
then
程序
fi
注：使用fi结尾，和一般语言使用大括号不同；条件判断式使用test命令判断，中括号和条件判断式之间必须有空格；then扣是符合条件之后执行的程序，then可放在[]之后用分号分隔，也可换行写入不写分号
例：#vi fi1.sh
#!/bin/bash
rate=$(df–h | grep “/dev/sda3” | awk ‘{print $5}’ | cut –d “%” –f 1)
if[ “$rate” -ge 80 ]
then
echo“Warning! /dev/sda3 is full!”
fi
》双分支
if [ 条件判断式 ]
then
条件成立时执行的程序
else
条件不成立时执行的程序
fi
例：#vi backmysql.sh
#!/bin/bash
ntpdateasia.pool.ntp.org &>/dev/null
date=$(date+%Y%m%d)
size=$(du–sh /var/lib/mysql)
if[ -d /tmp/dbbak ]
then
echo“Date: $date!” > /tmp/dbbak/dbinfo.txt
cd/tmp/dbbak
tar–zcf mysql-lib-$date.tar.gz /var/lib/mysql dbinfo.txt &>/dev/null
rm–rf /tmp/dbbak/dbinfo.txt
else
mkdir/tmp/dbbak
echo“Date: $date!” > /tmp/dbbak/dbinfo.txt
echo“Date size: $size” >> /tmp/dbbak/dbinfo.txt
cd /tmp/dbbak
tar–zcf mysql-lib-$date.tar/gz /var/lib/mysql &>/dev/null
rm–rf /tmp/dbbak/dbinfo.txt
fi
例：vi autostart.sh
#!/bin/bash
port=$(nmap–sT 192.168.4.210 | grep tcp | grep http| awk ‘{print $2}’)
if [ “$port” == “open” ]
then
echo“$(date) httpd is OK!” >> /tmp/autostart-acc.log
else
/etc/rc.d/init.d/httpdstop &>/dev/null
/etc/rc.d/init.d/httpdstart &>/dev/null
echo“$(date) restart httpd!” >> /tmp/autostart-err.log
fi
》多分支
if [ 条件判断式 ]
then
当条件判断式1成立时，执行程序1
elif [ 条件判断式 ]
then
当条件判断式2成立时，执行程序2
……
else
当所有条件都不成立时，执行此程序
fi
例：#vi if-elif.sh
#!/bin/bash
read–p “please input a filename: “ file
if [ -z “$file” ]
then
echo“Error,please input a filename.”
elif [ ! –e “$file” ]
then
echo“Your input is not a file”
elif [ -f “$file” ]
then
echo“$file is a regulaar file.”
elif [ -d “$file” ]
then
echo“$file is a directory!”
else
echo“$file is an other file!”
fi
2、多分去case条件语句：case只判断一种条件关系，而if可判断多种条件关系。
case$变量名 in
“值1”)
如果变量的值等于值1，则执行程序1
；；
“值2”)
如果变量的值等于值2，则执行程序2
；；
……
*）
如果变量的值都不是以上的值，执行此程序
；；
esac
注：case语句会取出变量中的值，与语句体中的值逐一比较，符合则执行相应程序，不符依次比较下一个值。若所有值都不符合，则执行*）后的程序，*代表所有其它值；以case开头，esac结尾；每个分支之后要用;;结尾，代表该程序段结束。
例：#vi case.sh
#!/bin/bash
read–p “please chose yes/no: “ cho
case$cho in
“yes”)
echo“Your choose is yes!”
;;
“no”)
echo“Your choose is no”
;;
*)
echo“Your choose is error!”
;;
esac
3、for循环是固定循环，在循环时已知道要循环几次，也称计数循环
for 变量 in 值1 值2 值3
do
程序
done
注：in后有几个值就循环几次，每次循环都把值赋予变量
for ((初始值；循环控制条件；变量变化))
do
程序
done
注：初始值，在循环开始时需要给变量赋予初始值，如i=1；循环控制条件，用于指定循环的次数，如i<=100；每次循环之后，变量该如何变化，如i=i+1，每次循环之后变量都加1.
例：vi auto-tar.sh
#!/bin/bash
cd /bin/bash
cd /lamp
ls *.tar.gz > ls.log
for i in $(cat ls.log)
do
tar -zxf $i &>/dev/null
done
rm–rf /lamp/ls.log
例：#vi useradd.sh
#!/bin/bash
read -t 30 -p “Please input username: “ name
read -t 30 -p “please input the number of users: “ num
read -t 30 -p “please input the password: “ pass
if [ -n “$name” –a -n “$num” -a -n “$pass” ]
then
y=$(echo $num | sed ‘s/[0-9]//g’)
if [ -z “$y” ]
then
for ((i=1;i<=$num;i=i+1))
do
/usr/sbin/useradd $name$i &>/dev/null
echo $pass | /usr/bin/passwd --stdin $name$i &>/dev/null
done
fi
fi
4、while循环：只要条件判断式成立，循环就一直继续，直到条件不成立才停止。
while[ 条件判断式 ]
do
程序
done
5、until循环：条件判断式不成立则进行循环，条件成立，则中止循环。
until[ 条件判断式 ]
do
程序
done
6、函数：
function 函数名 （） {
程序
}
7、特殊流程控制语句：
》exit语句：在脚本中是退出当前脚本，#exit 返回值，返回值可自己定义，用$?查询，若没定义返回值，则是执行exit语句之前最后执行的命令的返回值。
》break语句会结束整个当前循环，而continue语句结束单次当前循环，下次循环会继续
for （（条件判断语句））
do
程序语句
break(continue)
程序语句
done
例：#vi ping.sh
#/bin/bash
echo “这个脚本是统计/root/ip.txt所有ip地址的丢包率”
for i $(cat /root/ip.txt)
do
aa=$(ping -c 3 $i | grep ttl | wc -l)
bb=$(( 3 - $aa ))
cc=$(echo “$bb 3” | awk ‘{ print “%5.2f% \n”,$1/$2*100}’)
echo “$i的丢包率是：$cc”
done
来自兄弟连培训
本文出自 “Linux运维重难点学习笔记” 博客，请务必保留此出处http://jowin.blog.51cto.com/10090021/1651732
标签：linux运维
原文地址：http://jowin.blog.51cto.com/10090021/1651732
