grep
grep ：根据模式，搜索文本，并将符合模式的文本行显示出来，
使用基本正则表达式定义的模式来过滤文本的命令：
-i ：忽略大小写
--color ：加上颜色，
-v ：显示没有被模式匹配到的行
-n：显示匹配到的行在文件中的行数
-w：精确匹配，只匹配整个单词，而不是字符串的一部分
-o ：只显示被模式匹配到的字符串
-A #：after, 后#行
-B #: before, 前#行
-C #：context, 前后各#行
-c：显示一个文件被匹配到几行
-E ：使用扩展正则表达式
-l：只列出匹配到的文件名
-L：列出不匹配的文件名，
grep -f file1 file2：显示file2中包含file1中的行
元字符：
. ：匹配任意单个字符
[ ] ：匹配指定范围内的任意单个字符
[^] ：匹配指定范围外的任意单个字符
[ - ]：范围，如[A-Z]，即A、B、C一直到Z都符合要求 。中括号里有的都会被匹配上[a-z0-9]
字符集合：
[:digit:]数字，
[:lower:] 小写字母，
[:upper:]大写字母，
[:punct:]标点符号，
[:space:]空白，
[:alpha:]所有字母，
[:alnum:]包含所有数字的字母
[[::digit]]$ ：匹配以1个数字结尾的行
[[:space:]][[::digit]]$ ：匹配以1个数字,前面为空白为结尾的行
which ls|grep -v ‘^alias‘|grep -o ‘[^[:space:]]*‘ #用grep去掉行首,-o:只显示被匹配到的
匹配次数：
* ：匹配其前面字符任意次
.* ：匹配任意长度的任意字符
\? ：匹配其前面的字符1次或0次。前面需要加反斜线转义，ls |grep "pas\?"
\+ ：匹配前面字符至少一次
\{m,n\}：匹配其前面的字符至少m次，至多n次。ls |grep "pas\{1,2\}"
\{m\}：匹配前面的字符m次；
\{0,n\}：匹配前面的字符至多n次；
\{1,\} ：匹配其前面的字符至少1次，
位置锚定：
^ ：锚定行首，此字符后面的任意内容必须出现在行首
$ ：锚定行尾，此字符后面的任意内容必须出现在行尾
^PATTERN$: 用于模式匹配整行；
^$ ：空行。注意：空格不等于空行
\<或\b ：锚定词首，其后面的任意字符必须作为单词首部出现
\>或\b ：锚定词尾，其前面的任意字符必须作为单词的尾部出现
\<root\> ：表示精确匹配root这个单词，点号不算一个单词里面的字符
分组：
\（\）：将一个或多个字符捆绑在一起，当作一个整体进行处理；
\(xy\)*ab
后向引用：引用前面的分组括号中的模式所匹配字符，(而非模式本身)
\1：从左侧起，第一个左括号以及与之匹配右括号之间的模式所匹配到的字符；
\(ab\+\(xy\)*\)：
\1: ab\+\(xy\)*
\2: xy
grep ‘\(l..e\).*\1‘ test.txt ##前面出现l..e，后面调用这个单词，所以前后的一样；
He love his lover. 匹配出现相同字段的行
He like his liker.
egrep ：扩展正则表达式，grep -E：
+ ：匹配其前面的字符至少1次，不能为0次
{m,n}：也表示至少m次，至多n次，但是不要加反斜线了
（）：分组，也支持\1，\2，….，
a|b ：或者，表示or的意思，C|cat表示匹配C或者cat,（C|c）at
IPV4：5类，A,B,C,D,E
A：1-127 B：128-191 C：192-223
2.grep命令使用简单实例
$ grep ‘test’ d* ##后可跟多个文件名,显示所有以d开头的文件中包含 test的行。
$ grep ‘[a-z]\{5\}’ aa
显示所有包含每个字符串至少有5个连续小写字符的字符串的行。
***默认情况下，’grep’只搜索当前目录。如果 此目录下有许多子目录，’grep’会以如下形式列出：
grep: sound: Is a directory
这可能会使’grep’ 的输出难于阅读。这里有两种解决的办法：
grep -r：明确要求搜索子目录
grep -d skip：或忽略子目录
$ grep magic /usr/src/Linux/Documentation/* | less 更方便阅读
***命令行参数
grep -C number pattern files ：匹配的上下文分别显示[number]行，
grep pattern1 | pattern2 files ：显示匹配 pattern1 或 pattern2 的行，
grep pattern1 files | grep pattern2 ：显示既匹配 pattern1 又匹配 pattern2 的行。
***这里还有些用于搜索的特殊符号：
grep ‘$‘ /etc/init.d/nfs.server | wc -l 统计一个文件共有多少行
grep ‘\<[Tt]he\>‘ size.txt 匹配单词the，t或者T都可以
grep ‘[239].‘ data.doc #输出所有含有以2,3或9开头的，并且是两个数字的行
grep ‘^[^48]‘ data.doc #不匹配行首是48的行
grep -E ‘219|216‘ data.doc #使用扩展模式匹配
ps -ef|grep svn -c 查看svn这个进程的个数
grep -nf test1.txt test2.txt 匹配test1.txt中包含test2.txt内容的行，并显示行号
获取本机ip：
# ifconfig |sed -n ‘s#^.*addr:\(.*\) Bcast.*#\1#gp‘
# ifconfig |grep "inet addr"|awk -F "[: ]+" ‘{print $4}‘ +代表重复一次或多次分隔符
# ifconfig |grep "inet addr"|cut -d ":" -f2|cut -d " " -f1
# ifconfig |awk -F "[: ]+" ‘NR==2 {print $4}‘ #用：或空格作为分隔且可重复多次
# ifconfig |sed -n ‘/inet addr/p‘|sed ‘s#^.*addr:##g‘|sed ‘s#Bcast:.*$##g‘
sed:
-n ：使用安静(silent)模式。只有经过sed 特殊处理的那一行(或者动作)才会被列出来。配合p
-e ：替换时前面加-e,可替换多次，仅限于替换。用；也可实现
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
-r ：支持扩展表达式，(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到终端。
function：
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何东东；
p ：输出匹配到并改动的行。通常 p 会与参数 sed -n 一起运行～
q：退出。sed -n ‘1p;2p;5p;5q‘ files。 5q：处理到第5行退出，不往下匹配
s ：替换
&：表示匹配到的内容。echo ‘12345‘|sed -r ‘s/./&\n/g‘ file #把数字竖着打印出来
增加或插入单行内容：
sed -i ‘2a *****‘ person.txt #在第二行增加*****内容，a是追加的意思,在之后追加
sed -i ‘2i *****‘ person.txt #在原第二行之前插入*****内容，$为末尾，插到倒数第二行
添加多行：
sed ‘2a ****\n****‘ person.txt #这样就可追加两行，\n换行，
sed ‘2a **** \ #结尾为\，下面会自动显示尖括号，再输入第二行 内容
>*****‘ person.txtt
sed正则表达式用法：
10{sed-commands} ##对第10行操作
10，20{sed-commands} ##对第10到20行操作，包括10,20行
10，+20{sed-commands} ##对第10到30(10+20)行操作，包括10,30行
1~2{sed-commands} ##对1,3,5,7,….行操作，等差数列
10，${sed-commands} ##对10到最后一行($代表最后一行)操作，包括第10行
/oldboy/{sed-commands} ##区间操作，对匹配oldboy的行操作
/oldboy/，/Alex/{sed-commands} ##对匹配oldboy的行到匹配Alex的行操作
/oldboy/，${sed-commands} ##对匹配oldboy的行到最后一行操作
1，/Alex/{sed-commands} ##对第一行到匹配Alex的行操作
d：删除指定的行，可用正则
sed ‘2d‘ person.txt ###指定删除第二行
sed ‘N;$d‘ file #删最后两行。删最后四行：cat file|sed ‘N;$d‘|sed ‘N;$d‘
cat 10|awk ‘NR==FNR{a++}NR!=FNR{if(FNR<=a-4)print $0}’ 10 10 #删除后四行
cat 10|head -n -4 #显示除了最后4行的全部行，-n:指定显示前多少行，
sed ‘2，5d‘ person.txt
sed ‘1d;3d‘ file #删除第一行和第三行
sed ‘3，$d‘ person.txt
sed ‘/=/!d‘ person.txt #!：取反，删除没被匹配到的,删除不包括=号的行
sed ‘1~2d‘ person.txt ###删除1,3,5,7…行
sed -r ‘/^$|[ \t]+/d‘ file #删除空行和一个或多个空格加制位符的行，
sed ‘/zhangyao/d‘ person.txt #匹配到zhangyao的行删掉,可用于打印不包含zhangyao的行
p：打印匹配行，-n：只显示匹配到行
sed ‘2p‘ person.txt ###打印两行
sed -n ‘2p‘ person.txt ###取消默认输出
sed -n ‘1，3p‘ person.txt ###打印出1-3行
sed -n ‘1~2p‘ person.txt ###打印出1,3,5,7…行
sed -n ‘$=‘ file #显示一个文件有几行
sed -n ‘1p;3p‘ file ##;是中断，只显示第一和第三行，而不是1-3行
sed -n ‘/==*/p‘ file #匹配一个或多个=的行，等同于 sed -nr ‘/=+/p‘ file
用新行取代旧行：
sed ‘2c *****‘ person.txt ###把第二行的内容替换成*****
文本替换：
sed -i ‘s#guopeng#xiaoying#g‘
sed -i ‘3s#guopeng#xiaoying#g‘ ###指定行进行替换
sed -i ‘98,115s/#//g‘ nginx.conf ##去掉注释
sed -i ‘98,117s/^/#/g‘ nginx.conf ##行首添加注释
sed -n ‘/bash/{s/bash/blueshell/;p;q}‘ /etc/passwd
如果只替换/etc/passwd的第一个bash关键字为blueshell，就退出
sed -e ‘3,$d‘ -e ‘s/bash/blueshell/‘ /etc/passwd #一条sed语句，执行多种操作
sed ‘s/^/HEAD&/g‘ test.file ## 在每行的头添加字符，比如"HEAD"
sed ‘s/$/&TAIL/g‘ test.file ##在每行的行尾添加字符，比如“TAIL”
sed引用外部变量：
sed "s/clone/$ip/g" file 等同于 sed ‘s/clone/‘$ip‘/g‘ #用双引或变量加双引
后向引用：
\U\1：把引用的\1内容变成大写，upper的缩写，\u：把首字母大写，\L小写
sed -r ‘s/(.*)([a-z]{3})(.*)/\3\U\2\1/g‘ file #把\2及之后的字母都变成大写
ifconfig eth0|sed -n ‘s/^.*inet addr:\(.*\) Bcast:.*$/\1/g‘ 过滤ip
ifconfig|sed -rn ‘s/^.*inet addr:(.*) Bcast:.*$/\1/g‘p ##不同版本sed需要加p
ifconfig eth0|sed -n ‘s/^.*inet addr:\(.*\) Bcast:\(.*\) Mask.*$/\1\t\2/g‘ 多引用
-r 扩展正则表达式，用-r就不用加反斜线,不用转义
# echo i am oldboy teacher.|sed ‘s#^.*am \([a-z].*\) tea.*$#\1#g‘
oldboy
# echo i am oldboy teacher.|sed -r ‘s#^.*am ([a-z].*) tea.*$#\1#g‘
oldboy
# chkconfig --list|grep "3:启用"|grep -vE "sshd|crond|network|rsyslog|sysstat"|awk "{print $1}"|sed -r ‘s#^(.*)#chkconfig \1 off#g‘|bash
高级编辑命令：
h: 把模式空间中的内容覆盖至保持空间中；
H：把模式空间中的内容追加至保持空间中；
g: 从保持空间取出数据覆盖至模式空间；
G：从保持空间取出内容追加至模式空间；
x: 把模式空间中的内容与保持空间中的内容进行互换；
n: 读取匹配到的行的下一行至模式空间；
N：追加匹配到的行的下一行至模式空间；
d: 删除模式空间中的行；
D：删除多行模式空间中的所有行；
sed -n ‘n;p‘ FILE：显示偶数行
sed ‘n;d‘ FILE: 显示奇数行；
sed ‘1!G;h;$!d‘ FILE：逆向显示文件内容
sed -n ‘1!G;h;$p‘ FILE: 逆向显示文件中的每一行；
sed ‘$!N;$!D‘ FILE: 取出文件后两行；
sed ‘$!d‘ FILE：取出文件最后一行；
sed ‘G‘ FILE:
sed ‘/^$/d;G‘ FILE: 把多个空白行合并成一个空白行
AWK:
http://lizhenliang.blog.51cto.com/7876557/1892112?b4
-F:指明输入时用到的字段分隔符
-v var=‘value‘ ##自定义变量
-F‘[: ]+‘ #以:号或空格一个或多个作为分隔符
-f：从文件中读取awk程序源文件，tail -n3 /etc/services |awk -f test.awk
1.print pring $1,$2,...
1.逗号分隔符，用双引号隔起来不做变量，
2.如省略item，相当于print $0：整行意思
3.‘print $1"\t"$2‘ #指定输出分隔，""：让输出字段用什么空格
2.变量：
內建变量：
FS：定义输入文件分隔符， 默认都为空白字符
awk ‘BEGIN{FS=""}{print $1,$2}‘ file #取消分隔符，现在每个字符作为一个字段
OFS：定义输出文件分隔符，默认都为空白字符
RS:指明输入时使用的换行符
ORS:指明输出时使用的换行符
NF:字段数，$NF:表示最后一个字段，$(NF-1)
echo "a b c d e f" |awk ‘{$NF="";$(NF-1)="";print$0}‘ 排除最后两个字段：
NR:行数
awk ‘NR>1&&NR<4{print NR,$0}‘ #取出第二至第三行,并显示行号
tail -n5 /etc/services |awk ‘NR==3{print $2}‘ 打印第三行第二个字段：
FNR:多文件分别统计行数，当FNR==NR时，说明在处理第一个文件内容，不等于时说明在处理
第二个文件内容。 一般FNR在处理多个文件时会用到
FILENAME:当前文件名
ARGC:命令行参数的个数
ARGV:数组，保存的是命令行所给定的各参数
awk -v FS=‘:‘ ‘{print $1}‘ /etc/passwd ##-v自定义变量FS，以:作为分隔符，再取第一段
awk -F: ‘{print $1}‘ /etc/passwd 也可以用-F然后接:，效果等同于自定义变量
awk -v FS=‘:‘ -v OFS=‘:‘ ‘{print $1,$3,$7}‘ /etc/passwd ##定义输出以什么作为分隔符，
awk ‘BEGIN{FS=":"}{print $1"#"$2}‘ /etc/passwd |head -n5 通过字符串拼接实现分隔：
awk ‘{print NF}‘ /etc/passwd 显示每行有多少个字段，不需要加$符，
awk ‘BEGIN{print ARGC}‘ /etc/fstab
awk ‘BEGIN{print ARGV[0|1|2|...]}‘ /etc/fstab
自定义变量和引用外部变量：
1.引用外部变量，需用‘BEGIN{print ‘$+变量名‘}‘ 括起来，如不行，"‘ ‘" 用这种，同sed
2.-v：自定义变量或引用外部变量
awk -v a=$a ‘{print a}‘ 或 awk ‘{print ‘$a‘} ‘ #$a为引用bash变量，
awk -v test=‘hello gawk‘ ‘BEGIN{print test}‘ 等同于
awk ‘BEGIN{test=‘hello gawk‘;print test}‘
3.printf
格式化输出：printf FORMAT,item1,item2,...
FORMAT:必须要给出
不会自动换行，需要显示给出换行控制符：\n
FORMAT中需要分别为后面每个item指定一个格式化符号
格式符：
%c：显示字符的ASCII码
%d,%i：显示十进制整数
%e,%E：科学计数法数值显示
%f：显示浮点数
%g,%G：以科学计数法胡浮点形式显示数值
%s：显示字符串
%u：无符号整数
%%：显示%自身
awk -F: ‘{printf "Username:%s,UID:%d\n",$1,$3}‘ /etc/passwd #$1赋值%s上，$3赋值在%d上
修饰符：
#[.#]:第一个数字控制显示的宽度，，第二个#表示小数点后的精度; %3.1f
-：左对齐。默认为右对齐
+：显示数值的符号
4.操作符：
算数操作符：x+y,x-y,x*y,x^y,x%y,-x,+x
字符串操作符：没有符号的操作符，字符串连接
赋值操作符：=，+=，-=，*=，/=,%=,^=,++,--
比较操作符：>,>=,<,<=,!=,==
模式匹配符：~(是否匹配)，!~(是否不匹配)
awk ‘$2~/4567/{print $0}‘ #如果第二列匹配到4567,才执行后面的动作
awk ‘{if($2~/4567/){print $0}}‘ 等同于上
逻辑操作符：&& , || , !
seq 6 |awk ‘i=!i‘ 打印奇数行：
seq 6 |awk ‘!(i=!i)‘ 打印偶数行：
函数调用：function_name(argu1,argu2,...)
条件表达式：selector?if-true-expression:if-false-expression
在awk中，有3种情况表达式为假：数字是0，空字符串和未定义的值
awk ‘BEGIN{n=0;if(n)print"true";else print "false"}‘ 结果为：false
awk‘BEGIN{s="";if(s)print "true";else print"false"}‘ 结果为：false
awk‘BEGIN{if(s)print "true";else print "false"}‘ 结果为：false
seq 5 |awk ‘{print $0*2}‘ 乘法
seq 5 |awk ‘{print $0%2}‘ 取余
seq 5 |awk ‘$0%2==0{print $0}‘ 打印偶数行：
seq 5 |awk ‘$0%2!=0{print $0}‘ 打印奇数行
seq 5 |shuf |awk ‘{print$0|"sort"}‘ 管道符使用
例：
awk -F: ‘{$3>=1000?usertype="Common User":usertype="Sysadmin or SysUser";printf "%15s:%-s\n",$1,usertype}‘ /etc/passwd
:作为分隔符，第三列大于等于1000就命名为Common User，小于1000的命名为Sysadmin or SysUser，%15s对应$1,%s对应usertype,\n换行，-s左对齐，%15默认为右对齐
5.模式匹配
1.empty:空模式，匹配每一行
2./regular expression/:仅处理能够被此处的模式匹配到的行
awk ‘/^UUID/{print $1}‘ /etc/fstab centos 7的fstab文件以UUID开头。
awk ‘!/^UUID/{print $1}‘ /etc/fstab 取反
tail /etc/services |awk ‘/^blp5/{print $0}‘ 匹配开头是blp5的行：
tail /etc/services |awk ‘/^[a-z0-9]{8} /{print $0}‘ 匹配第一个字段是8个字符的行：
不匹配开头是#和空行：
awk‘! /^#/ && ! /^$/{print $0}‘ /etc/httpd/conf/httpd.conf
awk‘! /^#|^$/‘ /etc/httpd/conf/httpd.conf
awk‘/^[^#]|"^$"/‘ /etc/httpd/conf/httpd.conf
3.relational expression:关系表达式: 结果有“真”有“假”：结果为"真"才会被处理
真：结果为非0值，非空字符串；
awk -F: ‘$3>=1000{print $1,$3}‘ /etc/passwd
awk -F: ‘$NF=="/bin/bash"{print $1,$NF}‘ /etc/passwd
awk -F: ‘$NF"~/bash$/"{print $1,$NF}‘ /etc/passwd
以bash$为结尾的模式匹配，模式匹配要用//括起来
4.匹配行范围：/path1/,/path2/
awk -F: ‘/^root/,/^nobody/{print $1}‘ /etc/passwd
匹配root起始的行到nobody开头的行中间的行，取第一个字段值
awk -F: ‘(NR>=2&&NR<=10){print $1}‘ /etc/passwd
5.BEGIN/END模式：
BEGIN{}:还没匹配第一行之前，先执行BEGIN的行为，用于变量赋值，输出标头
END{}:在文本处理完成之后执行END的语句，用于变量最终的输出,取最后一行
cat 10.txt|awk ‘{a+=$1}END{print a}‘ #输出1加到10的值，竖列
pa aux|awk ‘/\java/{a+=$3;b+=$4}END{print "cpu:"a" mem:"b}‘ #统计进程cpu和内存
awk -F: ‘BEGIN{print " username uid \n---------------------"}{print $1,$3}END{print "==========\n end"}‘ /etc/passwd
6.控制语句：
6.1：if-esle
语法：‘{if(condition) {statments} else {statments}}‘ 双分支if语句
‘/^_/{if(***)print $0}‘ #if前面还可以接正则匹配过滤，在判断
seq 5 |awk ‘{if($0==3)print $0;else print "no"}‘
awk‘{if($1==4){print "1"} else if($2==5){print "2"} elseif($3==6){print "3"} else {print "no"}}‘ file
awk -F: ‘{if($3>=1000) print $1,$3}‘ /etc/passwd
awk -F: ‘{if($NF=="/bin/bash") print $1}‘ /etc/passwd
awk -F: ‘{if($3>=1000) {printf "Common user:%s\n",$1} else {printf "root or SysUser:%s\n",$1}}‘ /etc/passwd centos 7是1000，centos 6是500
awk ‘{if(NF>5) print $0}‘ /etc/fstab 使用场景：对awk取得的整行或某个字段做条件判断
df -h|awk -F[%] ‘/^\/dev/{print $1}‘|awk ‘{if($NF>=20)print $1}‘ 挑出dev使用率大于20的磁盘
6.2：while循环
语法：while(condition) statments
条件为“真”，进入循环，条件为“假”，退出循环
使用场景：对一行内的多个字段逐一类似处理时使用；对数组中的各元素逐一处理时使用
length() 计算长度函数
awk ‘/^[[:space:]]*linux16‘/{i=1;while(i<=NF) {print $i,length($i);i++}}‘ /etc/grub2.cfg
对每一行的每一个字段做单独的统计
awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=7) {print $i,length($i)};i++}}‘ /etc/grub2.cfg while循环里面再嵌套if语句
break跳过所有循环，continue跳过当前循环。
awk ‘BEGIN{for(i=1;i<=5;i++){if(i==3){break};print i}}‘
awk ‘BEGIN{for(i=1;i<=5;i++){if(i==3){continue};print i}}‘
exit退出程序，与shell的exit一样。[ expr]是0-255之间的数字。
seq5 |awk ‘{if($0~/3/)exit (123)}‘
echo $?
123
6.3：do-while循环：至少执行一次循环体
6.4：for循环
语法：for (variable assignment;condition;iteration process) {for-body}
awk ‘/^[[:space:]]*linux16/{for (i=1;i<=NF;i++) {print $i,length($i)}}‘ /etc/grub2.cfg
awk ‘{for(i=1;i<=NF;i++){n++}}END{print n}‘ file #统计文件有多少个单词，可用wc
n++：每循环一次就加1
awk ‘{for(i=1;i<=NF;i++){if($i=="60"){n++}}}END{print n}‘ file1 #统计有多少个60
df -h|awk -F‘[\t %]+‘ ‘{a=a+$5}END{print a}‘ #统计磁盘总使用率，竖列相加
特殊用法：能够遍历数组中的元素：
语法：for(var in array) {for-body}
6.5:switch语句：
switch(expression) {case VALUE1 or /REGEXP/: statement;case VALUE2 or /REGEXP2/: statement;...;default:statement;}
6.6 next:在行间执行，提前结束
awk -F: ‘{if($3%2!=0) next; print $1,$3}‘ /etc/passwd
如果$3项除2不等于0，就直接跳到下一行处理。
7.array:数组
关联数组：array[index-expression]
index-expression:
1.可使用任意字符串，字符串要使用双引号
2.如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为"空串"
若要判断数组中是否存在某元素，要使用"index in array"格式进行
awk ‘BEGIN{weekdays["mon"]="monday";weekdays["tue"]="tuesday";print weekdays["mon"]}‘
若要遍历数组中的每个元素，要使用for循环。
注意：var会遍历array的每个索引
state["LISTEN"]++ 此处LISTEN为下标
state["ESTABLISHED"]++
awk ‘BEGIN{weekdays["mon"]="monday";weekdays["tue"]="tuesday";for(i in weekdays) print weekdays[i]}‘
netstat -tan|awk ‘/^tcp\>/{state[$NF]++}END{for(i in state) {print i,state[i]}}‘
awk ‘{ip[$1]++}END{for(i in ip) {print i,ip[i]}}‘ /var/log/httpd/access_log ##计算访问ip数量
awk ‘{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count) {print i,count[i]}}‘ /etc/fstab
##统计文件中每个文件出现的次数
去重三个方法：
awk ‘++a[$1]==1‘ file #同下面一行都是以最开始匹配到为基准，后面重复的忽略
awk ‘!a[$1]++‘ file #省略{print $0}，对第4列去重就是$4
awk ‘{a[$1]=$0}END{for (i in a){print a[i]}}‘ #以最终的为基准，不断赋值，
计数：
awk ‘{a[$1]+=1}END{for(i in a){print i,a[i]}}‘ file
例1:
cat file
a 1
a 2
b 3
b 4
cat file|awk ‘{a[$1]=a[$1]+$2}END{for(i in a){print i,a[i]}}‘ #计算多个a和多个b各自的值
a 3
b 7
处理多文件：
awk ‘NR==FNR{a[FNR]=$1}NR!=FNR{print a[FNR],$2}‘ file file1
把一个文件的第一列和另一个文件的第二列拼凑起来
NR==FNR：表示处理第一个文件。
NR!=FNR：表示处理第二个文件
处理多文件计数：
awk ‘{a[$1]=a[$1]+$2}END{for(i in a){print i,a[i]}}‘ file file1 file2
二维数组行列转换：
awk ‘{for(i=1;i<=NF;i++){a[NR,i]=$i}}END{for(i=1;i<=NF;i++){for(j=1;j<=NR;j++){printf a[j,i]" "}print ""}}‘
修改第一列值：
cat file|awk ‘{$1=3}1‘ === cat file |awk ‘{$1=3;print $0}‘
两个文件行中有相同字段，合并并且以file1为准，file1需放后面：
awk ‘NR==FNR{a[$1]=$0;next}NR!=FNR{$1=a[$1];print $0}‘ file2 file1
原文地址：http://guopeng7216.blog.51cto.com/9377374/1942102
