码迷，mamicode.com
首页 > 其他好文 > 详细

三剑客之awk命令

时间：2021-06-29 16:04:59      阅读：0      评论：0      收藏：0      [点我收藏+]

标签：运算   循环   换行   one   href   过程   --   存储   数字   

目录

一 awk简介

? awk命名源自于它的三大作者名字的首字母，分别是Alfred Aho、Brian Kernighan、Peter Weinberger。（gawk是awk的GNU版本，它提供了Bell实验室和GNU的一些扩展）。

? awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个
或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix
下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。
? awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定
模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标准输出(
屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理

awk的两种语法格式

awk [options] ‘commands‘ filename
awk [options] -f awk-script-file filename

? awk选项options

-F		定义字段分隔符，默认的分隔符是空格或制表符(tab)

? awk的命令commands总共由三部分组成

BEGIN{}         		{}                 END{}
读所有行之前做的事情       读一行处理一行 	   所有读完之后要做的事情

? 可以省略BEGIN{} 和END{}，只进行{}行处理，并且{}行处理前可以加匹配，匹配成功后再处理

awk ‘pattern‘ filename				示例：awk -F: ‘/root/‘ /etc/passwd		
awk ‘{action}‘ filename				示例：awk -F: ‘{print $1}‘ /etc/passwd			
awk ‘pattern{action}‘ filename		示例：awk -F: ‘/root/{print $1,$3}‘ /etc/passwd		
								示例：awk ‘BEGIN{FS=":"} /root/{print $1,$3}‘ /etc/passwd
其他命令 |awk ‘pattern‘ 
其他命令 |awk ‘{action}‘			
其他命令 |awk ‘pattern{action}‘ 	

# 匹配pattern可以是：/正则表达式/也可以是条件，如下
示例：df -P |awk ‘$4 > 999999{print $0}‘  # 也可以省略{print $0}

模式pattern还可以是其他，详解第五章节

二 awk工作原理

awk -F: ‘{print $1,$3}‘ /etc/passwd
    
(1)awk会接收一行作为输入，并将这一行赋给awk的内部变量$0，每一行也可称为一个记录，行的边界是以换行符作为结束

(2)然后，刚刚读入的行被以:为分隔符分解成若干字段（或域），每个字段存储在已编号的变量中，编号从$1开始，最多达100个字段
注意：如果未指定行分隔符，awk将使用内置变量FS的值作为默认的行分隔符，FS默认值为空格

(3)使用print函数打印，如果$1$3之间没有逗号，它俩在输出时将贴在一起，应该在$1,$3之间加逗号，该逗号与awk的内置变量OFS保持一致，OFS默认为空格，于是以空格为分隔符输出$1和$3
我们可以指定：awk -F: ‘BEGIN{OFS="-"}{print $1,$3}‘ /etc/passwd

(4)输出之后，将从文件中获取另一行，然后覆盖给$0，继续(2)的步骤将该行内容分隔成字段。。。继续(3)的步骤
该过程一直持续到所有行处理完毕

三 记录与字段相关内部变量

$0：	保存当前行的内容  # awk -F: ‘{print $0}‘ /etc/passwd
$1:以指定的分隔符分割开的第1段内容   
$2:以指定的分隔符分割开的第2段内容
NR：	行号，每处理完一条记录，NR值加1  # awk -F: ‘{print NR, $0}‘ /etc/passwd
NF：	段数，保存记录的字段数，$1,$2...$100	# awk -F: ‘{print $0,NF}‘ /etc/passwd
FS：	输入字段分隔符，默认空格。即安装什么符号来切分每一行内容# awk -F: ‘/alice/{print $1, $3}‘ /etc/passwd
								# awk -F‘[ :\t]‘ ‘{print $1,$2,$3}‘ /etc/passwd	
								# awk ‘BEGIN{FS=":"} {print $1,$3}‘ /etc/passwd
OFS：输出字段分隔符					# awk -F: ‘/root/{print $1,$2,$3,$4}‘ /etc/passwd
即按照什么符号来连接输出的结果			# awk -F: ‘BEGIN{OFS="+++"} /^root/{print $1,$2,$3,$4}‘ /etc/passwd
    			   				# awk  ‘BEGIN{OFS="-";FS=":"}/root/{print NR,$0,NF}‘ /etc/passwd

四 格式化输出

================print函数===================
[root@egon ~]# date | awk ‘{print "月:",$2,"\n年:",$1}‘
月: 09月 
年: 2020年
[root@egon ~]# 
[root@egon ~]# awk -F: ‘{print "用户名:",$1,"用户id:",$3}‘ /etc/passwd

================printf函数===================
[root@egon ~]# awk -F: ‘{printf "用户名:%s 用户id:%s\n",$1,$3}‘ /etc/passwd
[root@egon ~]# awk -F: ‘{printf "|%-15s| %-10s| %-15s|\n", $1,$2,$3}‘ /etc/passwd

%s 字符类型
%d 数值类型
占15格的字符串
- 表示左对齐，默认是右对齐
printf默认不会在行尾自动换行，加\n

五 模式pattern与动作action

awk ‘pattern{action}‘ filename

模式pattern可以是

  • 正则表达式

    # 匹配整行
awk -F: ‘/egon/{print $1,$3}‘ /etc/passwd    
awk ‘/^root/‘  /etc/passwd

# 匹配一行的某个字段
# awk ‘$0 ~ /^root/‘  /etc/passwd
# awk ‘$1 ~ /^root/‘  /etc/passwd
# awk ‘$7 !~ /bash$/‘  /etc/passwd

  • 比较表达式

    比较表达式指的是使用关系运算符来比较数字以及字符串，只有当条件为真，才执行指定的动作

关系运算符
运算符			  含义						示例
<				小于						  x<y
<=				小于或等于					x<=y
==				等于						  x==y
!=				不等于					     x!=y
>=				大于等于					x>=y
>				大于						  x>y
~				正则表达式匹配				   x~/y/
!~				正则表达式不匹配			  x!~/y/


示例：
# awk -F: ‘$3 == 0‘ /etc/passwd
# awk -F: ‘$3 < 10‘ /etc/passwd
# awk -F: ‘$7 == "/bin/bash"‘ /etc/passwd
# awk -F: ‘$1 == "root" ‘ /etc/passwd

  • 条件表达式

    # awk -F: ‘{if($3>300) {print $0}}‘ /etc/passwd
# awk -F: ‘{if($3>300) {print $3} else{print $1}}‘ /etc/passwd

# awk -F: ‘{if($3>300) {max=$3;print max} else{max=$1;print max}}‘ /etc/passwd
# awk -F: ‘{max=($3>300) ? $3 : $1; print max}‘ /etc/passwd

# awk -F: ‘{if($3>$4) {max=$3;print max} else{max=$4; print max}}‘ /etc/passwd
# awk -F: ‘{max=($3 > $4) ? $3: $4; print max}‘ /etc/passwd	
相当于：
if ($3 > $4)
	max=$3
else
	max=$4

  • 算数运算

    + - * / %(模) ^(幂2^3)
可以在模式中执行计算，awk都将按浮点数方式执行算术运算

# awk -F: ‘$3 * 10 > 500‘ /etc/passwd

  • 逻辑运算和复合模式

    &&			逻辑与		a&&b
||			逻辑或		a||b
!			逻辑非		!a

示例：
# awk ‘$2 > 5 && $2 <= 15‘ filename
# awk ‘$3 == 100 || $4 > 50‘ filename
# awk ‘!($2 < 100 && $3 < 20)‘ filename

  • 范围模式

    # 正则
awk ‘/root/,/egon/‘ filename

说明：
awk将显示从root首次出现的行到egon首次出现的行这个范围内的所有行，包括两个边界在内。如果没有找到egon，awk将继续打印各行直至文件末尾。

如果打印完root到egon的内容之后，又出现了root， awk就又一次开始显示行，直至找到下一个egon或文件末尾。

[root@aliyun ~]# cat a.txt
1111root
2222root22222
egon123123123123
4444
5555
6666
root7777
1asf
asdfasdf
egon
7788
[root@aliyun ~]# awk ‘/root/,/egon/{print NR,$0}‘ a.txt
1 1111root
2 2222root22222
3 egon123123123123
7 root7777
8 1asf
9 asdfasdf
10 egon
[root@aliyun ~]# 

# 行号
awk -F: ‘NR>=1 && NR <=3{print $1}‘ test.txt

六 awk示例

# awk ‘/west/‘ datafile
# awk ‘/^north/‘ datafile
# awk ‘/^(no|so)/‘ datafile
# awk ‘{print $3,$2}‘ datafile
# awk ‘{print $3 $2}‘ datafile
# awk ‘{print $0}‘ datafile
# awk ‘{print "Number of fields: "NF}‘ datafile
# awk ‘/northeast/{print $3,$2}‘ datafile
# awk ‘/E/‘ datafile
# awk ‘/^[ns]/{print $1}‘ datafile
# awk ‘$5 ~ /\.[7-9]+/‘ datafile
# awk ‘$2 !~ /E/{print $1,$2}‘ datafile
# awk ‘$3 ~ /^Joel/{print $3 " is a nice guy."}‘ datafile
# awk ‘$8 ~ /[0-9][0-9]$/{print $8}‘ datafile
# awk ‘$4 ~ /Chin$/{print "The price is $" $8 "."}‘ datafile
# awk ‘/Tj/{print $0}‘ datafile
# awk ‘{print $1}‘ datafile2		
# awk -F: ‘{print $1}‘ datafile2
# awk ‘{print "Number of fields: "NF}‘ datafile2
# awk -F: ‘{print "Number of fields: "NF}‘ datafile2
# awk -F"[ :]" ‘{print $1,$2}‘ datafile2
   
# awk ‘$7 == 5‘ datafile
# awk ‘$2 == "CT" {print $1, $2}‘ datafile
# awk ‘$7 != 5‘ datafile
# awk ‘$7 < 5 {print $4, $7}‘ datafile
# awk ‘$6 > .9 {print $1,$6}‘ datafile
# awk ‘$8 <= 17 {print $8}‘ datafile
# awk ‘$8 >= 17 {print $8}‘ datafile
# awk ‘$8 > 10 && $8 < 17‘ datafile
# awk ‘$2 == "NW" || $1 ~ /south/ {print $1, $2}‘ datafile
# awk ‘!($8 == 13){print $8}‘ datafile
# awk ‘/southem/{print $5 + 10}‘ datafile

# awk ‘/southem/{print $8 + 10}‘ datafile
# awk ‘/southem/{print $5 + 10.56}‘ datafile
# awk ‘/southem/{print $8 - 10}‘ datafile
# awk ‘/southem/{print $8 / 2 }‘ datafile
# awk ‘/southem/{print $8 / 3 }‘ datafile
# awk ‘/southem/{print $8 * 2 }‘ datafile
# awk ‘/southem/{print $8 % 2 }‘ datafile

# awk ‘$3 ~ /^Suan/ {print "Percentage: "$6 + .2   " Volume: " $8}‘ datafile
# awk ‘/^western/,/^eastern/‘ datafile
# awk ‘{print ($7 > 4 ? "high "$7 : "low "$7)}‘ datafile			//条件运算符
# awk ‘$3 == "Chris" {$3 = "Christian"; print}‘ datafile			//赋值运算符
# awk ‘/Derek/ {$8 += 12; print $8}‘ datafile		//$8 += 12等价于$8 = $8 + 12
# awk ‘{$7 %= 3; print $7}‘ datafile				//$7 %= 3等价于$7 = $7 % 3

七 awk流程控制

＝＝条件判断
if语句：
格式
{if(表达式)｛语句;语句；...｝}
awk -F: ‘{if($3==0) print $1 " is administrator."}‘ /etc/passwd
awk -F: ‘{if($3>0 && $3<500){count++; print $1}} END{print count}‘ /etc/passwd	//统计系统用户数

if...else语句:
格式
{if(表达式)｛语句;语句;...｝else｛语句;语句;...}}
awk -F: ‘{if($3==0){print $1} else {print $7}}‘ /etc/passwd
awk -F: ‘{if($3>0) {count++} else{i++}‘ /etc/passwd
awk -F: ‘{if($3>0){count++} else{i++}} END{print "管理员个数: "i "\n系统用户数: "count}‘ /etc/passwd

if...else if...else语句：
格式
{if(表达式)｛语句;语句；...｝else if(表达式)｛语句;语句；...｝else if(表达式)｛语句;语句；...｝else｛语句;语句；...｝}
awk -F: ‘{if($3==0){i++} else if($3>499){k++} else{j++}} END{print i; print k; print j}‘ /etc/passwd
awk -F: ‘{if($3==0){i++} else if($3>499){k++} else{j++}} END{print "管理员个数: "i; print "普通用个数: "k; print "系统用户: "j}‘ /etc/passwd 


＝＝循环
while:
awk -F: ‘{i=1; while(i<=10) {print $0;  i++}}‘ /etc/passwd		//将每行打印10次

for:
awk -F: ‘{for(i=1;i<=10;i++) print $0}‘ /etc/passwd					//将每行打印10次


＝＝数组(索引或key对应值)
# awk -F: ‘{username[++i]=$1} END{print username[1]}‘ /etc/passwd
root
# awk -F: ‘{username[i++]=$1} END{print username[1]}‘ /etc/passwd 
bin
# awk -F: ‘{username[i++]=$1} END{print username[0]}‘ /etc/passwd 
root

# awk -F: ‘{username[x++]=$1} END{for(i=0;i<NR;i++) print i,username[i]}‘ /etc/passwd
0 root
1 bin
2 daemon
3 adm
4 lp
5 sync
6 shutdown
7 halt
...
# awk -F: ‘BEGIN{x=1} {user[x++]=$1} END{for(i=1;i<=NR;i++) {print i,user[i]} }‘ /etc/passwd
# awk -F: ‘BEGIN{j=1} {if($3<5){user[j++]=$1}}   END{for(i=1;i<j;i++) {print i,user[i]} }‘ /etc/passwd

# awk -F: ‘BEGIN{i=1} {username[i]=$1;i++}‘

# awk -F: ‘BEGIN{i=1} $3<10{username[i]=$1;++i} END{for(j=1;j<i;j++){print j,username[j]}}‘ /etc/passwd
1 root
2 bin
3 daemon
4 adm
5 lp
6 sync
7 shutdown
8 halt
9 mail
10 admin

========================================================
# awk -F: ‘{username[++x]=$1} END{for(i=1;i<=NR;i++) {print i,username[i]}}‘ passwd1 
1 root
2 bin
3 daemon
4 adm
5 lp
6 sync
7 shutdown
8 halt
9 mail
10 uucp

# awk -F: ‘{username[++x]=$1} END{for(i in username) {print username[i]} }‘ passwd1 
adm
lp
sync
shutdown
halt
mail
uucp
root
bin
daemon

》》》》》》》》》》》》key：value《《《《《《《《《《《《
# awk -F: ‘{user_id[$1]=$3} END{for(i in user_id) {print i,user_id[i]}}‘ passwd1 
bin 1
uucp 10
mail 8
sync 5
shutdown 6
adm 3
daemon 2
halt 7
root 0
lp 4


========================================================

统计用户名为4个字符的用户：
[root@aliyun ~]# awk -F: ‘$1~/^....$/{count++; print $1} END{print "count is: " count}‘ /etc/passwd
root
sync
halt
mail
news
uucp
nscd
vcsa
pcap
sshd
dbus
jack
count is: 12


[root@aliyun ~]#  awk -F: ‘length($1)==4{count++; print $1} END{print "count is: "count}‘ /etc/passwd
root
sync
halt
mail
news
uucp
nscd
vcsa
pcap
sshd
dbus
jack
count is: 12

作业

1. 取得网卡IP（除ipv6以外的所有IP）
2. 获得内存使用情况
3. 获得磁盘使用情况
4. 清空本机的ARP缓存
5. 打印出/etc/hosts文件的最后一个字段（按空格分隔）
6. 打印指定目录下的目录名


[root@aliyun dir1]# arp -a |awk -F"[()]" ‘{print "arp -d", $2}‘
arp -d 192.168.2.26
arp -d 192.168.2.44
arp -d 192.168.2.28
arp -d 192.168.2.130
arp -d 192.168.2.90
arp -d 192.168.2.18
arp -d 192.168.2.129
[root@aliyun dir1]# arp -a |awk -F"[()]" ‘{print "arp -d " $2}‘ |sh


[root@aliyun ~]# awk -F: ‘{print $7}‘ /etc/passwd
[root@aliyun ~]# awk -F: ‘{print $NF}‘ /etc/passwd
[root@aliyun ~]# awk -F: ‘{print $(NF-1)}‘ /etc/passwd

[root@aliyun ~]# ll |grep ‘^d‘
drwxr-xr-x 104 root root     12288 09-22 05:37 192.168.0.48
drwxr-xr-x   2 root root      4096 10-30 15:47 apache_log
drwxr-xr-x   2 root root      4096 10-30 15:23 awk
drwxr-xr-x   2 root root      4096 10-24 09:09 Desktop
drwxr-xr-x  12 root root      4096 10-08 06:12 LEMP_Soft
drwxr-xr-x   2 root root      4096 10-24 07:38 scripts
drwxr-xr-x   6 root root      4096 2012-03-29 uplayer
drwxr-xr-x   7 root root      4096 10-23 04:53 vmware
[root@aliyun ~]# 
[root@aliyun ~]# ll |grep ‘^d‘ |awk ‘{print $NF}‘
192.168.0.48
apache_log
awk
Desktop
LEMP_Soft
scripts
uplayer
vmware



awk脚本：
user1.awk
BEGIN {
        FS=":"
}

{
        if($3==0){
                print $1
        }
        else{
                print $7
        }
}


user2.awk
BEGIN{
        FS=":"
        OFS="\t\t"
        print "username\tuid"
        print "-------------------"
}

{if($3==0){
        print $1,$3;i++
        }

}

END{
        print "-------------------"
        print "total users is: "i
}

八 练习题

已知一个变量 msg="I am a teacher, my name is egon"，打印字符长度小于3的单词

# 方式一：
[root@egon /]# for i in $msg;do [ ${#i} -lt 3 ] && echo $i;done
I
am
a
my
is

# 方式二：
[root@egon /]# echo $msg |xargs -n1 |awk ‘{if(length<3) print}‘
I
am
a
my
is

# 方式三：
[root@egon /]# echo $msg |awk ‘{for(i=1;i<=NF;i++) if(length($i)<3) print $i}‘
I
am
a
my
is

# 方式四：
[root@egon /]# echo $msg |egrep -wo ‘[a-z]{1,3}‘
am
a
my
is

三剑客之awk命令

标签：运算   循环   换行   one   href   过程   --   存储   数字   

原文地址：https://www.cnblogs.com/caodan01/p/14949175.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！