awk

‘ ‘    引用代码块
BEGIN  初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
//     匹配代码块，可以是字符串或正则表达式
{}     命令代码块，包含一条或多条命令
；     多条命令使用分号分隔
END    结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

$0           表示整个当前行
$1           每行第一个字段
NF          字段数量变量
NR          每行的记录号，多文件记录递增
FNR        与NR类似，不过多文件记录不递增，每个文件都从1开始
\t            制表符
\n           换行符
FS          BEGIN时定义分隔符
RS       输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~            匹配，与==相比不是精确比较
!~           不匹配，不精确比较
==         等于，必须全部相等，精确比较
!=           不等于，精确比较
&&　     逻辑与
||             逻辑或
+            匹配时表示1个或1个以上
/[0-9][0-9]+/   两个或两个以上数字
/[0-9][0-9]*/    一个或一个以上数字
FILENAME 文件名
OFS       输出字段分隔符， 默认也是空格，可以改为制表符等
ORS         输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
-F‘[:#/]‘   定义三个分隔符

print 是awk打印指定内容的主要命令
awk ‘{print}‘ /etc/passwd == awk ‘{print $0}‘ /etc/passwd  
awk ‘{print " "}‘ /etc/passwd                     //不输出passwd的内容，而是输出相同个数的空行，进一步解释了awk是一行一行处理文本
awk ‘{print "a"}‘ /etc/passwd                     //输出相同个数的a行，一行只有一个a字母
awk -F":" ‘{print $1}‘ /etc/passwd 
awk -F: ‘{print $1; print $2}‘ /etc/passwd        //将每一行的前二个字段，分行输出，进一步理解一行一行处理文本
awk  -F: ‘{print $1,$3,$6}‘ OFS="\t" /etc/passwd     //输出字段1,3,6，以制表符作为分隔符

awk ‘BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}‘ test 
I find 4 blank lines.
 ls -l|awk ‘BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}‘     //计算文件大小
total size is 17487

awk -F":" ‘{print $1}‘  /etc/passwd
awk -F":" ‘{print $1 $3}‘  /etc/passwd             //$1与$3相连输出，不分隔
awk -F":" ‘{print $1,$3}‘  /etc/passwd             //多了一个逗号，$1与$3使用空格分隔
awk -F":" ‘{print $1 " " $3}‘  /etc/passwd         //$1与$3之间手动添加空格分隔
awk -F":" ‘{print "Username:" $1 "\t\t Uid:" $3 }‘ /etc/passwd    //自定义输出  
awk -F: ‘{print NF}‘ /etc/passwd                   //显示每行有多少字段
awk -F: ‘{print $NF}‘ /etc/passwd                  //将每行第NF个字段的值打印出来
 awk -F: ‘NF==4 {print }‘ /etc/passwd              //显示只有4个字段的行
awk -F: ‘NF>2{print $0}‘ /etc/passwd               //显示每行字段数量大于2的行
awk ‘{print NR,$0}‘ /etc/passwd                    //输出每行的行号
awk -F: ‘{print NR,NF,$NF,"\t",$0}‘ /etc/passwd    //依次打印行号，字段数，最后字段值，制表符，每行内容
awk -F: ‘NR==5{print}‘  /etc/passwd                //显示第5行
awk -F: ‘NR==5 || NR==6{print}‘  /etc/passwd       //显示第5行和第6行
route -n|awk ‘NR!=1{print}‘                        //不显示第一行

awk ‘/mysql/‘ /etc/passwd
awk ‘/mysql/{print }‘ /etc/passwd
awk ‘/mysql/{print $0}‘ /etc/passwd              //三条指令结果一样
awk ‘!/mysql/{print $0}‘ /etc/passwd             //输出不匹配mysql的行
awk ‘/mysql|mail/{print}‘ /etc/passwd
awk ‘!/mysql|mail/{print}‘ /etc/passwd
awk -F: ‘/mail/,/mysql/{print}‘ /etc/passwd      //区间匹配
awk ‘/[2][7][7]*/{print $0}‘ /etc/passwd         //匹配包含27为数字开头的行，如27，277，2777...
awk -F: ‘$1~/mail/{print $1}‘ /etc/passwd        //$1匹配指定内容才显示
awk -F: ‘{if($1~/mail/) print $1}‘ /etc/passwd   //与上面相同
awk -F: ‘$1!~/mail/{print $1}‘ /etc/passwd       //不匹配
awk -F: ‘$1!~/mail|mysql/{print $1}‘ /etc/passwd

awk -F: ‘{if($1~/mail/) print $1}‘ /etc/passwd                //简写
awk -F: ‘{if($1~/mail/) {print $1}}‘  /etc/passwd             //全写
awk -F: ‘{if($1~/mail/) {print $1} else {print $2}}‘ /etc/passwd     //if...else...

awk -F":" ‘$1=="mysql"{print $3}‘ /etc/passwd  
awk -F":" ‘{if($1=="mysql") print $3}‘ /etc/passwd    //与上面相同 
awk -F":" ‘$1!="mysql"{print $3}‘ /etc/passwd      //不等于
awk -F":" ‘$3>1000{print $3}‘ /etc/passwd          //大于
awk -F":" ‘$3>=100{print $3}‘ /etc/passwd          //大于等于
awk -F":" ‘$3<1{print $3}‘ /etc/passwd             //小于
awk -F":" ‘$3<=1{print $3}‘ /etc/passwd            //小于等于

awk -F: ‘{print NF}‘ helloworld.sh                          //输出文件每行有多少字段
awk -F: ‘{print $1,$2,$3,$4,$5}‘ helloworld.sh              //输出前5个字段
awk -F: ‘{print $1,$2,$3,$4,$5}‘ OFS=‘\t‘ helloworld.sh     //输出前5个字段并使用制表符分隔输出
awk -F: ‘{print NR,$1,$2,$3,$4,$5}‘ OFS=‘\t‘ helloworld.sh  //制表符分隔输出前5个字段，并打印行号

awk -F‘[:#]‘ ‘{print NF}‘  helloworld.sh                     //指定多个分隔符: #，输出每行多少字段
awk -F‘[:#]‘ ‘{print $1,$2,$3,$4,$5,$6,$7}‘ OFS=‘\t‘ helloworld.sh   //制表符分隔输出多字段

awk -F‘[:#/]‘ ‘{print NF}‘ helloworld.sh                             #指定三个分隔符，并输出每行字段数
awk -F‘[:#/]‘ ‘{print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11,$12}‘ helloworld.sh    #制表符分隔输出多字段

ls -l|awk ‘BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",sum/1024,"KB"}‘
ls -l|awk ‘BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",int(sum/1024),"KB"}‘         #int是取整的意思

awk ‘
BEGIN{math=0;eng=0;com=0;printf "
   Lineno.   Name    No.    Math   English   Computer    Total\n";
   printf "------------------------------------------------------------\n"}
{math+=$3; eng+=$4; com+=$5;
  printf "%-8s %-7s %-7s %-7s %-9s %-10s %-7s \n",
  NR,$1,$2,$3,$4,$5,$3+$4+$5}
END{printf "------------------------------------------------------------\n";
  printf "%-24s %-7s %-9s %-20s \n",
  "Total:",math,eng,com;printf "%-24s %-7s %-9s %-20s \n",
  "Avg:",math/NR,eng/NR,com/NR}‘ test0

[root@localhost home]# cat test0 
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62