用于文本处理的语言（取行，过滤），支持正则

NR代表行数，$n取某一列，$NF最后一列

NR==20,NR==30 从20行到30行

FS竖着切，列的分隔符

RS横着切，行的分隔符

$n                    当前记录的第n个字段，字段间由 FS分隔。
$0                    完整的输入记录。
ARGC              命 令行参数的数目。
ARGIND         命令行中当前文件的位置(从0开始算)。
ARGV             包 含命令行参数的数组。
CONVFMT      数字转换格式(默认值为%.6g)
ENVIRON       环 境变量关联数组。
ERRNO            最后一个系统错误的描述。
FIELDWIDTHS         字 段宽度列表(用空格键分隔)。
FILENAME               当前文件名。
FNR                        同 NR，但相对于当前文件。
FS                           字段分隔符(默认是任何空格)。
IGNORECASE         如 果为真，则进行忽略大小写的匹配。
NF                   当前记录中的字段数。
NR                   当 前记录数。
OFMT              数字的输出格式(默认值是%.6g)。
OFS                 输 出字段分隔符(默认值是一个空格)。
ORS                 输出记录分隔符(默认值是一个换行符)。
RLENGTH         由 match函数所匹配的字符串的长度。
RS                   记录分隔符(默认是一个换行符)。
RSTART           由 match函数所匹配的字符串的第一个位置。
SUBSEP           数组下标分隔符(默认值是\034)。

= += -= *= /= %= ^= **=        赋值
?:                 C条件表达式
||                 逻 辑或
&&             逻辑与
~ ~!             匹 配正则表达式和不匹配正则表达式
< <= > >= != ==       关 系运算符
空格          连接
+ -            加，减
* / &          乘，除与求余
+ - !          一元加，减和逻辑非
^ ***        求幂
++ --        增加或减少，作为前缀或后缀
$              字 段引用
in             数组成员

sub          匹配记录中最大、最靠左边的子字符串的正则表达式，并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的 时候
gsub        整个文档中进行匹配
index       返回子字符串第一次被匹配的位置，偏移量从位置1开始
substr      返回从位置1开始的子字符串，如果指定长度超过实际长度，就返回整个字符串
split         可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供，则按当前FS值进行分割
length      返回记录的字符数
match       返回在字符串中正则表达式位置的索引，如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置，RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串
toupper和tolower    可用于字符串大小间的转换，该功能只在gawk中有效

atan2(x,y)    y,x 范围内的余切
cos(x)          余弦函数
exp(x)         求 幂
int(x)           取整
log(x)          自然对 数
rand()         随机数
sin(x)          正弦
sqrt(x)        平 方根
srand(x)     x是rand()函数的种子
int(x)          取 整，过程没有舍入
rand()         产生一个大于等于0而小于1的随机数

1、只查看 ett.txt 文件（共 100 行）内第 20 到第 30 行的内容

awk ‘NR>19&&NR<31’ ett.txt
awk ‘{ if (NR>19&&NR<31) print $0}’ ett.txt

2、给文件内容加行号

awk ‘{print NR,$0}’ /etc/inittab

3、输出第24行并且加行号

awk ‘NR==24 {print NR,$0}’ /etc/inittab

4、标准写法

awk -F ‘[ :]+‘ ‘NR==2{print $(NF-1)}‘  /etc/passwd
相当于 awk ‘BEGIN{FS="[ :]+"}NR==2{print $(NF-1)}‘ /etc/passwd
awk ‘BEGIN{RS="/"} {print $0}‘ /etc/passwd

5、以一个或多个/为行的分割符，打印第二行的第二列，列的分隔符为默认的空格,并打印行号

awk ‘BEGIN{RS="[/]+"} NR==2{print NR,$2}‘ test  

awk支持正则：

6、以：为分隔符，打印第5列以s开头的一整行

awk -F ":" ‘$5~/^s/{print $0}‘ /etc/passwd    

7、以/为分隔符，匹配倒数第二行的s或者没有s后面是bin的整行

awk -F "/" ‘$(NF-1)~/(s|)bin/‘ /etc/passwd    

8、匹配第一列以ssh或者ftp或mysql开头或者结尾的行

awk ‘$1~/^(ssh|ftp|mysql)$/{print $1,$2}‘ /etc/services    

9、输出结果6 0 1 2

echo "6@@@@@@@@@@@@@@@0=============1##############2" |awk -F ‘[@=#]+‘  ‘{print $1,$2,$3,$4}‘ 

10、

awk ‘BEGIN{print "---BEGIN---"} NR==2{print $2} END{print "---END----"}‘ xxx.conf

cat >>a.txt <<EOF 
1|1
3|3
5|5
7|7
9|9
EOF

cat >>b.txt<<EOF
1|1
2|2
3|30
4|4
5|5
6|6
7|70
8|8
9|9
10|10
EOF

awk -F ‘|‘ ‘BEGIN{ while(getline < "a.txt") { user_map[$1] = $2; } }
{
    if ($1 in user_map) { if (user_map[$1] < $2) print $0; }
}‘ b.txt

awk ‘BEGIN{for(i=1;i<10;i++){for (j=1;j<=i;j++)printf "%d%s%d%s%d\t",i,"x",j,"=",i*j;print}}‘

14、tomcat并发数

netstat -an|grep 10050|awk ‘{count[$6]++} END{for (i in count) print(i,count[i])}‘

sed   老二

10{sed-commands}                          对第10行操作

10,20{sed-commands}                     对10到20行操作,包括第10,20行

10,+20{sed-commands}                  对10到30(10+20)行操作,包括第10,30行

1~2{sed-commands}                       对1,3,5,7,……行操作

10,${sed-commands}                      对10到最后一行($代表最后一行)操作,包括第10行

/oldboy/{sed-commands}               对匹配oldboy的行操作

/oldboy/,/Alex/{sed-commands}    对匹配oldboy的行到匹配Alex的行操作

/oldboy/,${sed-commands}            对匹配oldboy的行到最后一行操作

/oldboy/,10{sed-commands}         对匹配oldboy的行到第10行操作，注意：如果前10行没有匹配到oldboy，sed软件会显示10行以后的匹配oldboy的行，如果有。

1,/Alex/{sed-commands}               对第1行到匹配Alex的行操作

/oldboy/,+2{sed-commands}        对匹配oldboy的行到其后的2行操作

sed ‘d‘ person.txt                                       #删除全部

sed ‘2d‘ person.txt                                     #删除第二行

sed ‘2,5d‘ person.txt                                  #删除2到5行

sed ‘3,$d‘ person.txt                                  #删除3到结尾

sed ‘1~2d‘ person.txt                                #删除1,3,5行

sed ‘1,+2d‘ person.txt                               #删除1,2,3

sed ‘/zhangyao/d‘ person.txt                    #删除匹配的zhangyao行

sed ‘/oldboy/,/Alex/d‘ person.txt             #删除匹配oldboy到Alex行

sed ‘/oldboy/,3d‘ person.txt                     #删除从匹配oldboy的3行

sed ‘/oldboy/d‘ person.txt                       #删除包含"oldboy"的行

sed ‘2c 106,dandan,CSO‘ person.txt          #替换第2行的内容

sed -n ‘2,/CFO/p‘ person.txt
sed -n ‘/feixue/,2p‘ person.txt

#特殊情况，前两行没有匹配到feixue，就向后匹配，如果匹配到feixue就打印此行。

sed -i.bak ‘$a 1111111111‘ xxx.txt

创建svn库的时候自动取消#号和修改路径

sed -i -r ‘12,13s/# //g‘ svnserve.conf
sed -i -r ‘20s/^# (.*)/\1/g‘ svnserve.conf
sed -i -r ‘27s/^# (.*)/\1/g‘ svnserve.conf
sed -i -r ‘12,13s/^# (.*)/\1/g‘ svnserve.conf
sed -i -r  ‘32s/# (.*=)(.*)/\1 \/usr\/svnData\//‘ svnserve.conf

一条命令执行（加传参）

SvnPath=‘zhangzhicheng‘
sed -i -r -e ‘20s/^# (.*)/\1/g‘ -e ‘27s/^# (.*)/\1/g‘ -e ‘12,13s/^# (.*)/\1/g‘ -e "32s/# (.*=)(.*)/\1 \/usr\/svnData\/$SvnPath/" svnserve.conf

三剑客老三。搜索文本，过滤文本字符串 –v取反