标签：linux shell
AWK简介：
AWK是一个强大的文本分析工具， 相对于其它两个grep和sed的编辑，AWK对数据的分析和处理，凸显其特性，AWK的命名来 源于它的创始者,(Alfred Aho 、Peter Weinberger 和 Brain)
以下是AWK的三个版本
原始的AWK
新的NAWK
POSIX/GNU版本的GAWK
基本语法：
awk ‘{pattern action}’ {filenames}
尽管操作可能会复杂，但是语法是这样的简单，其中pattern表示AWK在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令。花括号‘{}’不需要始终出现，但它们用于根据特定的模式对一系列指令进分组。pattern也可以用正则表达式，使用的时候需要向sed一样用“/ /”
awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他 文本操作。完整的awk脚本通常用来格式化文本文件中的信息。
使用AWK
1、模式AWK [ -F ] ‘commands‘ file
F区域分隔符是可选的，默认的情况下是以空格和制表符分隔 commands是命 令，file是指定的文件：
例如：
[root@localhost python]# last -n 3
root pts/0 192.168.126.1 Wed Jan 6 18:31 still logged in
root pts/0 :0 Wed Jan 6 18:02 - 18:03 (00:00)
root :0 :0 Wed Jan 6 18:02 still logged in
如果只显示最近登录的账号：
[root@localhost python]# last -n 3 | awk ‘{print $1}‘
root
root
root
shell脚本方式
将所有的AWK命令插入一个文件，并使用AWK程序可执行，然后AWK命令解释器作为脚本的首行，一遍通过键入脚本名称来调用头文件中用#!/bin/awk 代#!/bin/sh
例题：
1、如果只是显示/etc/passwd的账户
#cat /etc/passwd |awk -F ‘:‘ ‘{print $1}‘
root
daemon
bin
sys
这种是awk+action的示例，每行都会执行action{print $1}。
-F指定域分隔符为‘:‘。
2、如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割
#cat /etc/passwd |awk -F ‘:‘ ‘{print $1"\t"$7}‘
root /bin/bash
daemon /bin/sh
bin /bin/sh
sys /bin/sh
如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。
3、cat /etc/passwd |awk -F ‘:‘ ‘BEGIN {print "name,shell"}{print $1 "," $7}{END {print "blue,/bin/nosh"}‘
name,shellroot,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh....
blue,/bin/nosh
搜索/etc/passwd有root关键字的所有行
4、#awk -F: ‘/root/‘ /etc/passwdroot:x:0:0:root:/root:/bin/bash
这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。
搜索支持正则，例如
找root开头的: awk -F: ‘/^root/‘ /etc/passwd
5、搜索/etc/passwd有root关键字的所有行，并显示对应的shell
# awk -F: ‘/root/{print $7}‘ /etc/passwd
/bin/bash
这里指定了action{print $7}
awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:
[root@localhost /]#cat /etc/passwd|awk -F‘:‘ ‘{print "filename:" FIENAME ",linenumber:" NR ",columns:" NF ",linecontent:" $0}‘
filename:,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:,linenumber:2,columns:7,linecontent:bin:x:1:1:bin:/bin:/sbin/nologin
filename:,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin
filename:,linenumber:4,columns:7,linecontent:adm:x:3:4:adm:/var/adm:/sbin/nologin
filename:,linenumber:5,columns:7,linecontent:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
filename:,linenumber:6,columns:7,linecontent:sync:x:5:0:sync:/sbin:/bin/sync
filename:,linenumber:7,columns:7,linecontent:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
filename:,linenumber:8,columns:7,linecontent:halt:x:7:0:halt:/sbin:/sbin/halt
filename:,linenumber:9,columns:7,linecontent:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
……
使用printf替代print,可以让代码更加简洁，易读
awk -F‘:‘‘{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}‘ /etc/passwd
变量和赋值
除了awk的内置变量，awk还可以自定义变量。
统计/etc/passwd用户的人数：
awk ‘{count++;print $0;} END{print "user count is ", count}‘ /etc/passwd
root:x:0:0:root:/root:/bin/bash......
user count is 40
count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。
这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:
awk ‘BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}‘ /etc/passwd
[start]user count is 0root:x:0:0:root:/root:/bin/bash...
[end]user count is 40
统计某个文件夹下的文件占用的字节数
ls -l |awk ‘BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}‘
[end]size is 8657198
如果以M为单位显示:
ls -l |awk ‘BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}‘
[end]size is 8.25889 M
注意，统计不包括文件夹的子目录。
本文出自 “不一样的人生” 博客，请务必保留此出处http://520qiong.blog.51cto.com/9803148/1732411
标签：linux shell
原文地址：http://520qiong.blog.51cto.com/9803148/1732411
