AWK详细用法

标签：des   使用   os   strong   文件   数据   

awk非常的优秀，运行效率高，而且代码简单，对格式化的文本处理能力超强。基本上grep和sed能干的活awk全部都能干，而且干得更好。

先来一个很爽的例子：
文件a，统计文件a的第一列中是浮点数的行的浮点数的平均值。用awk来实现只需要一句话就可以搞定（当然，这个东东用python也可以很轻松的实现，只是无论如何都得新建一个文件；别妄想用bash shell来做，那可是浮点数！！！）
$cat a
1.021 33
1#.ll   44
2.53 6
ss    7

awk ‘BEGIN{total = 0;len = 0} {if($1~/^[0-9]+\.[0-9]*/){total += $1; len++}} END{print total/len}‘ a

niubility!

awk的语法：
awk [-F re] [parameter...] [‘program‘] [-f ‘programfile‘] [in_file_list]

awk里面的BEGIN，END结构：
BEGIN和END中的语句分别在开始读取文件(in_file)之前和读取完文件之后发挥作用，可以理解为初始化和扫尾。

awk里面的if..else;   while ; do..while; for; break; continue; printf 语法都和C语言的语法一致；而且awk支持使用if (key in array)这样的判断语句（其中，array是数组，这一点和python的语法非常相像。）；awk支持使用for (key in array)这样的语法来遍历数组（也是和python的语法很相像。）

我会用的参数的说明：
-F re：允许awk更改其字段分隔符
-v var=val 把val值赋值给var（变量通信的好方法啊～～今天才知道这个选项，想想之前写的代码，抓狂啊～～）如果有多个变量要赋值，那么就写多个-v，每个变量赋值对应一个-v
e.g. 要打印文件a的第num行到num+num1行之间的行， awk -v num=$num -v num1=$num1 ‘NR==num,NR==num+num1{print}‘ a
-f progfile：允许awk调用并执行progfile程序文件，当然progfile必须是一个符合awk语法的程序文件

我会用的awk内置变量：
ARGC    命令行参数的个数
ARGV：命令行参数数组
ARGIND 当前被处理文件的ARGV标志符
e.g 有两个文件a 和b
awk ‘{if(ARGIND==1){print "处理a文件"} if(ARGIND==2){print "处理b文件"}}‘ a b
文件处理的顺序是先扫描完a文件，再扫描b文件

NR 已经读出的记录数
FNR   当前文件的记录数
上面的例子也可以写成这样：
awk ‘NR==FNR{print "处理文件a"} NR > FNR{print "处理文件b"}‘ a b
输入文件a和b，由于先扫描a，所以扫描a的时候必然有NR==FNR，然后扫描b的时候，FNR从1开始计数，而NR则接着a的行数继续计数，所以NR > FNR

e.g 要显示文件的第10行至第15行
awk ‘NR==10,NR==15{print}‘ a

FS 输入字段分隔符（缺省为:space:），相当于-F选项
awk -F ‘:‘ ‘{print}‘ a    和   awk ‘BEGIN{FS=":"}{print}‘ a 是一样的

OFS输出字段分隔符（缺省为:space:）
awk -F ‘:‘ ‘BEGIN{OFS=";"}{print $1,$2,$3}‘ b
如果cat b为
1:2:3
4:5:6
那么把OFS设置成";"后就会输出
1;2;3
4;5;6
（小注释：awk把分割后的第1、2、3个字段用$1,$2,$3...表示，$0表示整个记录（一般就是一整行））

NF：当前记录中的字段个数
awk -F ‘:‘ ‘{print NF}‘ b的输出为
3
3
表明b的每一行用分隔符":"分割后都3个字段
可以用NF来控制输出符合要求的字段数的行，这样可以处理掉一些异常的行
awk -F ‘:‘ ‘{if (NF == 3)print}‘ b

RS：输入记录分隔符，缺省为"\n"
缺省情况下，awk把一行看作一个记录；如果设置了RS，那么awk按照RS来分割记录
例如，如果文件c，cat c为
hello world; I want to go swimming tomorrow;hiahia
运行 awk ‘BEGIN{ RS = ";" } {print}‘ c 的结果为
hello world
I want to go swimming tomorrow
hiahia

合理的使用RS和FS可以使得awk处理更多模式的文档，例如可以一次处理多行，例如文档d cat d的输出为
1 2
3 4 5

6 7
8 9 10
11 12

hello
每个记录使用空行分割，每个字段使用换行符分割，这样的awk也很好写
awk ‘BEGIN{ FS = "\n"; RS = ""} {print NF}‘ d 输出
2
3
1

ORS：输出记录分隔符，缺省为换行符，控制每个print语句后的输出符号
awk ‘BEGIN{ FS = "\n"; RS = ""; ORS = ";"} {print NF}‘ d 输出
2;3;1

awk的数组：

awk的数组是一个很值得一说的东东。awk的数组从行为上看的话更像关联数组，或者说map、字典，或者说散列。awk的数组接受字符串下标，并接受速度很快的in查询
文件e是由小写的字母组成，cat e 输出为
a
b
z
...
如果要统计不同的字母出现的个数，那么可以使用数组来实现
awk ‘{arr[$0]++} END{ for (key in arr) print key, "-->",arr[key] }‘ e
使用for( key in arr)来遍历数组的时候，输出的次序是不可预测的，这一点跟python的字典遍历是一致的。
在gawk中，可以使用asort内置函数实现数组的排序，其他的awk版本中还没有发现有类似的排序函数。一个折中的办法是先awk完再用管道传给sort来排序。sort使用-k选项可以控制使用指定列排序。

awk的多维数组：

awk的多维数组在本质上是一维数组，更确切一点，awk在存储上并不支持多维数组。awk提供了逻辑上模拟二维数组的访问方式。例如，array[2,4] = 1这样的访问是允许的。awk使用一个特殊的字符串SUBSEP (\034)作为分割字段，在上面的例子中，关联数组array存储的键值实际上是2\0344。

类似一维数组的成员测试，多维数组可以使用 if ( (i,j) in array)这样的语法，但是下标必须放置在圆括号中。
类似一维数组的循环访问，多维数组使用 for ( item in array )这样的语法遍历数组。与一维数组不同的是，多维数组必须使用split()函数来访问单独的下标分量。split ( item, subscr, SUBSEP)

awk读取shell中的变量
可以使用-v选项实现功能
     $b=1
     $cat f
     apple

$awk -v var=$b ‘{print var, $var}‘ f
1 apple

除了使用-v选项外，还可以使用"‘$variable‘"的方式从shell往awk传递变量(注意：这里是单引号)
$awk ‘{print $b, ‘$b‘}‘ f
apple 1

至于有没有办法把awk中的变量传给shell呢，这个问题我是这样理解的。shell调用awk实际上是fork一个子进程出来，而子进程是无法向父进程传递变量的，除非用重定向（包括管道）
$a=$(awk ‘{print $b, ‘$b‘}‘ f)
$echo $a
apple 1

getline

getline为awk所提供的输入指令.

其语法如下 :

$awk ‘BEGIN{ "date" | getline d; close("date");print d}‘ f
Sun Nov 9 20:55:12 CST 2008
$awk ‘BEGIN{getline name < "/dev/tty"} ‘
$awk ‘BEGIN{while(getline < "/etc/passwd" > 0) { lc++ }; print lc }‘ f
只要getline的返回值大于0，即读入一行，循环就会继续。
getline如果如成功读取，返回1，否则返回-1，如果遇到EOF，则返回0。getline在读取的同时会设置NF,NR,FNR等内置变量
如果getline后没有变量，则默认置于$0
$awk ‘BEGIN{ while(("ls" | getline) > 0) print}‘ f
(以上3个例子来自UNIX Shells By Example Fourth Edition, Section 6.26.4)

输出重定向

awk的输出重定向类似于shell的重定向。重定向的目标文件名必须用双引号引用起来。
$awk ‘$4 >=70 {print $1,$2 > "destfile" }‘ filename
$awk ‘$4 >=70 {print $1,$2 >> "destfile" }‘ filename

awk中调用shell命令：

1)使用管道
awk中的管道概念和shell的管道类似，都是使用"|"符号，在上面getline中{"date" | getline d;}就是使用了管道。如果在awk程序中打开了管道，必须先关闭该管道才能打开另一个管道。也就是说一次只能打开一个管道。shell命令必须被双引号引用起来。“如果打算再次在awk程序中使用某个文件或管道进行读写，则可能要先关闭程序，因为其中的管道会保持打开状态直至脚本运行结束。注意，管道一旦被打开，就会保持打开状态直至awk退出。因此END块中的语句也会收到管道的影响。（可以在END的第一行关闭管道）”
awk中使用管道有两种语法，分别是：
awk output | shell input
shell output | awk input

对于awk output | shell input来说，shell接收awk的输出，并进行处理。需要注意的是，awk的output是先缓存在pipe中，等输出完毕后再调用shell命令处理，shell命令只处理一次，而且处理的时机是“awk程序结束时，或者管道关闭时（需要显式的关闭管道）”
$awk ‘/west/{count++} {printf "%s %s\t\t%-15s\n", $3,$4,$1 | "sort +1"} END{close "sort +1"; printf "The number of sales pers in the western"; printf "region is " count "." }‘ datafile
printf函数用于将输出格式化并发送给管道。所有输出集齐后，被一同发送给sort命令。必须用与打开时完全相同的命令来关闭管道(sort +1)，否则END块中的语句将与前面的输出一起被排序。此处的sort命令只执行一次。

在shell output | awk input中awk的input只能是getline函数。shell执行的结果缓存于pipe中，再传送给awk处理，如果有多行数据，awk的getline命令可能调用多次。
$awk ‘BEGIN{ while(("ls" | getline d) > 0) print d}‘ f

2)使用system命令

$awk ‘BEGIN{system("echo abc")}‘
需要注意的是system中应该使用shell命令的对应字符串。awk直接把system中的内容传递给shell，作为shell的命令行。

3)system命令中使用awk的变量
空格是awk中的字符串连接符，如果system中需要使用awk中的变量可以使用空格分隔，或者说除了awk的变量外其他一律用""引用起来。
$awk ‘BEGIN{a = 12; system("echo " a) }‘

还有好多呀，以后再补充
awk的运算符
next等函数
更多的输入输出（输出到多个文件，关闭文件，输出到命令）
awk的内置函数：

gsub, index, length, match, printf, split, sprintf, substr, tolower, toupper, atan, cos, exp, int, log, rand, sin, sqrt, srand, system

AWK详细用法,码迷,mamicode.com

AWK详细用法

标签：des   使用   os   strong   文件   数据   

原文地址：http://www.cnblogs.com/sand-tiny/p/3699875.html