awk
一、awk简介
脚本语言
变量 ..... 流程控制 数组 函数
主要使用awk做数据统计
1 统计系统内建用户个数、外建用户个数
2 统计网站服务器 当天的访问量 access_log
3 每周一给邮箱使用空间最大的前10个邮箱帐号发提醒邮件
4 把当前系统10分钟内cpu使用率最高的前10个进程名输出
在shell脚本里
使用awk获取数据给shell程序处理。
每5分钟检查一下当前系统根分区的使用量，根分区的空闲空间小 于10G时，向当前系统所有终端发送报警信息
----------------------------------------------------------------------
awk语法格式 (rpm -q gawk)
awk ‘动作‘ 文件列表
awk 选项 ‘条件动作‘ 文件列表
命令 | awk 选项 ‘条件动作‘
---------------------------------------------------------------------
awk 执行过程？
以行为处理单位，逐行处理文件中的所有行，输出当前行的处理结果后自动处理下一行，直到把所有行处理完为止。
----------------------------------------------------------------------
选项？
-F "符号" 指定列的分割符号 awk默认使用空格或\tab作为列的分隔符
----------------------------------------------------------------------
awk变量的使用 （内置变量 自定义变量 调用shell ）
1、 内置变量
$0 当前读入的整行文本内容
FNR 保存当前处理行在原文本内的序号（行号）
NR 记录当前已读入行的数量（行数）
FILENAME 当前处理文件的文件名
NF 记录当前处理行的字段个数（列数）域$n 指定分隔的第n个字段，如$1、$3分别表示第1、第3列
FS 保存或设置字段分隔符 空格 \tab
awk ‘{print FNR}‘ a.txt
awk ‘{print NR,FNR}‘ a.txt
awk ‘{print FILENAME}‘ a.txt b.txt
head /etc/passwd | awk -F ":" ‘{print $1}‘
head /etc/passwd | awk -F ":" ‘{print $1,$3}‘
awk ‘{print $0}‘ a.txt
awk ‘{print "abc"}‘ a.txt
df -h | grep /boot$ | awk ‘{print $1}‘
echo 9G | awk -F "[.G]" ‘{print $1}‘
echo 3.5G | awk -F "[.G]" ‘{print $1}‘
2 自定义变量
变量名=值
awk ‘{i=101;name="lucy";print i,name}‘ a.txt
awk ‘{i=101;name="lucy";print “i,name”}‘ a000.txt
3 awk调用shell变量
36 name1=lucy name2=tom
37 echo $name1 $name2
38 awk -v x=$name1 -v y=$name2 ‘{print x,y}‘ a.txt
[root@A ~]# x=203
[root@A ~]# awk ‘{print ‘$x‘ }‘ a.txt
203
203
203
[root@A ~]#
[root@A ~]# awk -v y=$x ‘{print y }‘ a.txt 调用变量时-v *=$*
203
203
203
[root@A ~]#
ENVIRON 调用Shell环境变量，格式：ENVIRON["变量名"]
awk -v y=$HOSTNAME ‘{print y}‘ a.txt
echo $USER $HOSTNAME
awk ‘{print ENVIRON["USER"] }‘ a.txt
awk ‘{print ENVIRON["HOSTNAME"] }‘ a.txt
------------------------------------------------------------------
在执行sed命令时，调用shell自定义变量
45 sed -n ‘1,3p‘ a.txt
46 x=1 y=3
47 echo $x $y
49 sed -n ‘ ‘$x‘,‘$y‘p ‘ a.txt
----------------------------------------------------------------------
awk处理数据的顺序？
awk ‘‘ a.txt
awk ‘ { } ‘ a.txt
awk ‘BEGIN{ } { } ‘ a.txt
awk ‘{ } END{ }‘ a.txt
awk ‘BEGIN{ } { } END{ }‘ a.txt
BEGIN{ } 行前处理
做数据的初始化定义
82 awk -F ":" ‘{print $1}‘ a.txt
83 awk ‘BEGIN{FS=":"}{print $1}‘ a.txt
{ } 行处理
对每一行执行的命令 多个命令用;间隔
END{ } 行后处理
把文件中所有行都处理完后，执行的命令
适合做数据的总结行输出
71 awk ‘{print $0}END{print $0}‘ a.txt
73 awk ‘END{print $0}‘ /etc/passwd
74 useradd bob
75 awk ‘END{print $0}‘ /etc/passwd
77 awk ‘{print FNR,$0}‘ a.txt
78 awk ‘BEGIN{print FNR}{print FNR}END{print FNR}‘ a.txt
awk ‘END{print "文件"FILENAME"的行数是"NR"行"}‘ /etc/passwd
awk ‘BEGIN{FS=":";print "user\tuid\thome"}{print $1"\t",$3"\t",$6}END{print "sum lines is "NR}‘ a.txt
awk -F ":" ‘{print $1"\t",$3"\t",$6}END{print "sum lines is "NR}‘ a.txt | sed ‘1iuser uid home‘
-------------------------------------------------------------------
awk条件的表示方式？
awk ‘{print $0}‘ a.txt
awk ‘条件{print $0}‘ a.txt
数值比较
num1 符号 num2
== 等于 != 不等于
> 大于 >= 大于或等于
< 小于 <= 小于或等于
975 awk ‘{ print $0}‘ a.txt
976 awk ‘FNR==5{ print $0}‘ a.txt
977 awk ‘NR==5{ print $0}‘ a.txt
978 awk ‘1==5{ print $0}‘ a.txt
979 awk ‘1==1{ print $0}‘ a.txt
981 awk ‘FNR<=3{print $0}‘ a.txt
982 awk ‘FNR==3{print $0}‘ a.txt
983 awk ‘FNR!=5{print $0}‘ a.txt
awk -F ":" ‘$3==500{print $1,$3}‘ /etc/passwd
字符串比较
“str1” 符号 “str2”
== 等于 != 不等于
awk -F ":" ‘$1=="rsync"{print $1}‘ /etc/passwd
987 awk -F ":" ‘$1=="root"{print $1}‘ /etc/passwd
988 awk -F ":" ‘$1!="root"{print $1}‘ /etc/passwd
--------------------------------------------------------------------
正则表达式
值 符号 /正则表达式/
匹配 ~
不匹配 ！~
awk ‘$0~/r/{print $0}‘ /etc/passwd
awk -F ":" ‘$1~/^...$/{print $1}‘ /etc/passwd
awk -F ":" ‘$1!~/^...$/{print $1}‘ /etc/passwd
------------------------------------------------------------------
逻辑比较 (多个条件)
逻辑与 && 多个条件同时成立
逻辑或 || 多个条件有一个条件成立就可以
逻辑非 ! 取反
plj bob sync
awk -F ":" ‘$1=="plj" || $1=="bob" || $1=="sync"{print $1}‘ /etc/passwd
awk -F ":" ‘$1=="rsync" && $3<500 {print $1,$3}‘ /etc/passwd
---------------------------------------------------------------------
运算符
+ - * / %
++
--
+= -= *= /=
输出文件中的偶数行
awk ‘FNR%2==0{print FNR,$0}‘ a.txt
awk -F ":" ‘$3<500{i++} $3>=500{y++}END{print i,y}‘ /etc/passwd
head -1 /etc/passwd | awk ‘{i+=3}END{print i}‘
head -3 /etc/passwd | awk ‘{i+=3}END{print i}‘
---------------------------------------------------------------------
统计文本的列的总个数
reg.txt
aaa ff ccc 3
aaa ff ccc www 4
aaa ff ccc xxx yyy ccccc 6
:wq
awk ‘BEGIN{i=0} {i+=NF} END{print i}‘ reg.txt
---------------------------------------------------------------------
seq 200 | awk ‘BEGIN{i=0} $0%3==0 &&
$0%13==0{print $0;i++} END{print i}‘
--------------------------------------------------------------------
awk流程控制
if 分支结构
单分支 if (条件表达式)｛条件成立时执行的命令｝
146 awk -F ":" ‘{ if($3==0)print $0 }‘ /etc/passwd
147 awk -F ":" ‘{ if($3==0)print $0;print FNR }‘ /etc/passwd
148 awk -F ":" ‘{ if($3==0){print $0;print FNR} }‘ /etc/passwd
149 awk -F ":" ‘{ if($3==0){print $0,FNR} }‘ /etc/passwd
150 awk -F ":" ‘{ if($3==0){print FNR,$0} }‘ /etc/passwd
awk -F ":" ‘$3==0{print $0,FNR}‘ /etc/passwd
双分支 if (条件表达式)｛条件成立时执行的命令｝else{}
awk -F ":" ‘{ if($3==0){print FNR,$0}else{print $1,$6} }‘ /etc/passwd
多分支
if(条件1){编辑指令1}else if(条件){编辑指令2}.. ..
else{编辑指令N}
awk -F ":" ‘{ if($3==0){print $1" is admin user"}else if($3>=1&&$3<500){print $1,$3" inside user" }else{print $1,$3" outside user"} }‘ /etc/passwd
---------------------------------------------------------------------
循环结构 while do..while for
while(条件) { 循环体 }
awk ‘BEGIN{ i=1;while( i<=3 ){print i;i++} }‘
awk ‘{ i=1;while( i<=3 ){print i;i++} }‘ a.txt
awk ‘{ i=1;while( i<=3 ){print $0;i++} }‘ a.txt
awk -F ":"
‘{ i=1 ；while(i<=NF){
if($i~/root/){j++}; i++ } } END{print j}‘
/etc/passwd
-------------------------------------------------------------------
do{ 循环体 }while(条件) 先执行循环体后判断条件
awk ‘BEGIN{ do{ print i;i++}while(i<=3) }‘
[root@A ~]# awk ‘BEGIN{ do{ i++;print i}while(i>=3) }‘
1
[root@A ~]# awk ‘BEGIN{while(i>=3){i++;print i}}‘
[root@A ~]#
----------------------------------------------------------------------
for循环
for(初值;条件;步长){循环体}
awk ‘BEGIN{ for (i=1;i<=5;i++){print i} }‘
----------------------------------------------------------------------
循环结构控制语句
break 结束自己所在循环结构的执行
continue 结束自己所在循环结构的本次循环，并开始下一次循环
awk ‘BEGIN{ for (i=1;i<=5;i++){print i；break} }‘
195 awk ‘BEGIN{ for (i=1;i<=5;i++){print i;break}}‘
196 awk ‘BEGIN{ for (i=1;i<=5;i++){break;print i}}‘
197 awk ‘BEGIN{ for (i=1;i<=5;i++){ if(i==3){break};print i}}‘
198 awk ‘BEGIN{ for (i=1;i<=5;i++){ if(i==3){countinu};print i}}‘
199 awk ‘BEGIN{ for (i=1;i<=5;i++){ if(i==3){continue};print i}}‘
控制awk对文件行的处理
next 跳过当前行，读入下一行文本开始处理
exit 结束文本读入，转入END{}执行
如果没有END{}则直接退出awk处理操作
1003 head /etc/passwd > a.txt
1004 awk ‘{exit}‘ a.txt
1005 awk ‘FNR==3{exit}{print FNR,$0}‘ a.txt
1006 awk ‘FNR==3{next}{print FNR,$0}‘ a.txt
1007 awk ‘{next}{print FNR,$0}‘ a.txt
1008 awk ‘{print FNR,$0}{next}‘ a.txt
--------------------------------------------------------------
[root@A ~]# cat c.txt
eth0 Link encap:Ethernet HWaddr 00:0C:29:B6:48:A6
encap:Ethernet HWaddr 00:0C:29:B6:48:A6
[root@A ~]#
awk ‘NF<2{next} {print $0 }‘ c.txt
----------------------------------------------------------------
awk 数组
定义数组
数组名[下标]=值
数组名["下标"]=值
数组名[下标]="值"
awk ‘BEGIN{ip[1]="192.168.1.1";ip[2]=101;ip["age"]=29}‘
调用数组元素
数组名[下标]
输出数组元素
print 数组名[下标]
awk ‘BEGIN{ip[1]="192.168.1.1";ip[2]=101;ip["age"]=29;print ip["age"],ip[2],ip[1]}‘
awk ‘BEGIN{ for (i=1;i<=5;i++){ip[i]="172.16.0."i} ; for (x=1;x<=5;x++){print ip[x] } }‘
-------------------------------------------------------------------
awk ‘BEGIN{ stugrp["s1"]="tom"; stugrp["s2"]="lucy";stugrp["s3"]="bob"; print stugrp["s3"]}‘
遍历数组元素的循环结构
for ( 变量 in 数组名) ｛ 循环体 ｝
awk ‘BEGIN{ stugrp["s1"]="tom"; stugrp["s2"]="lucy";stugrp["s3"]="bob"; stugrp["s4"]="jerry"; for ( plj in stugrp) { print plj ,stugrp[plj]} }‘
head -3 /etc/passwd | awk -F ":" ‘{ usergrp[$3]=$1 }END{ for ( x in usergrp) { print x ,usergrp[x] } }‘
编写脚本getupwd-awk.sh，实现以下需求：
1）找到使用bash作登录Shell的本地用户
2）列出这些用户的shadow密码记录
3）按每行“用户名 --> 密码记录”保存到getupwd.log
统计a.txt 文件中 每个用户名出现的次数
[root@A ~]# cat a.txt
root
bin
daemon
root
bin
lucy
lucy
lucy
daemon
root
bin
daemon
root
bin
daemon
[root@A ~]#
---------------------------------------------------------------------
shell基础 （ bash特性 流程控制 变量 流控函数 执行脚本）
expect awk sed grep 数组 函数 变量替换
原文地址：http://liangzai818.blog.51cto.com/10003446/1768252
