标签：sed awk
Sed是一个非交互式文本编辑器，它可对文本文件和标准输入进行编辑，标准输入可以是来自键盘输入、文件重定向、字符串、变量，甚至来自管道的文本。Sed从文本的一个文本行或标准输入中读取数据，将其复制到缓冲区，然后读取命令行或脚本的第一个命令，对此命令要求的行号进行编辑，重复此过程，直到命令行或脚本中的所有命令都执行完毕。相对于vi等其他文本编辑器，sed可以一次性处理所有的编辑任务，显得非常高效，为用户节省了大量的时间。
1. 语法：sed [OPTION]... {script} [input-file]...
工作机制：每次读取一行文本至“模式空间(pattern space)”中，在模式空间中完成处理；将处理结果输出至标准输出设备；
-r支持扩展正则
-n静默模式：不输出，只编辑
-e script1 –e script2 –e script3多点编辑
-f 从配置文件中读取脚本，然后按脚本执行
-i 直接修改源文件；默认是不修改源文件的
地指定界：
#:指定行
$:最后一行
/regexp/：能够被regexp所匹配的行
\%regexp%：同上
/regexp/|\%regexp%忽略字符大小写
开始行，结束行：
#, /regexp/:从#开始，披到到/regexp/结束
#,#1：#开始，#1结束
/regexp1/,/regexp2/，从匹配1开始到匹配2结束
#,+n：#开始，匹配之后的n行
first~step:first开始，step步进
2.sed的编辑命令
(1)打印某行
sed -n ‘n‘p filename 单引号内的n是一个数字，表示第几行:
#sed -n ‘2‘p/etc/passwd
要想把所有行都打印出来可以使用 sed -n ‘1,$‘p filename
#sed -n ‘1,$‘p /etc/passwd
也可以指定一个区间:
#sed -n ‘1,3‘p /etc/passwd
(2)打印包含某个字符串的行
#sed -n ‘/root/‘p /etc/passwd
grep中使用的特殊字符，如 ^ $ . * 等同样也能在sed中使用
#sed -n ‘/^root/‘p/etc/passwd
#sed -n ‘/in$/‘p /etc/passwd
(3)-e可以实现多个行为
#sed -e ‘1‘p -e‘/^ftp/‘p -n /etc/passwd
(4)删除某行或者多行
#sed ‘1‘d /tmp/passwd
#sed ‘1,3‘d /tmp/passwd
#sed ‘/adm/‘d /tmp/passwd
‘d’ 这个字符就是删除的动作了，不仅可以删除指定的单行以及多行，而且还可以删除匹配某个字符的行，另外还可以删除从某一行一直到文档末行。
(5)替换字符或字符串
#sed ‘1,2s/ot/to/g‘/tmp/passwd
上例中的 ‘s’ 就是替换的命令， ‘g’ 为本行中全局替换，如果不加 ‘g’ 只换该行中出现的第一个。除了可以使用‘/’ 作为分隔符外，还可以使用其他特殊字符例如 ‘#’ 或者‘@’ 都没有问题。
(6)调换两个字符串的位置
#sed ‘s/\(root\)\(.*\)\(bash\)/\3\2\1/‘/tmp/passwd
这个就需要解释一下了，上例中用 () 把所想要替换的字符括起来成为一个整体，因为括号在sed中属于特殊符号，所以需要在前面加脱意字符 ‘’, 替换时则写成 ‘1’, ‘‘2’, ‘‘3’ 的形式。
(7)直接修改文件的内容
#sed -i ‘s/ot/to/g‘ /tmp/passwd
练习：
1、删除/boot/grub/grub.conf文件中所有行首的空白字符
#sed‘s/^[[:space:]]\+//‘ /tmp/grub.conf
2、删除/etc/fstab文件中所有#开头，后至少跟一个空白字符的行的行首的#和空白字符
#sed‘s/^#[[:space:]]\+//‘ /etc/fstab
3、把/etc/fstab文件的奇数行另存为/tmp/fstab.3
#sed‘1~2w /tmp/fstab.3‘ /etc/fstab
4、echo一个文件路径给sed命令，取出其基名，进一步取出其路径名
取基名：
#echo "/etc/sysconfig/network-scripts/" | sed‘s@^.*/\([^/]\+\)/\?$@\1@‘
取路径名：
#echo "/etc/sysconfig/network-scripts/" | sed‘s@[^/]\+/\?$@@‘
3.高级命令:
保持空间，hold space
保存模式空间中的内容
h：用模式空间内容覆盖保持空间内容
H：用模式空间内容追加保持空间内容
g：从保持空间中取1行内容覆盖到模式空间
G：从保持空间取呢容追加模式空间
x：交换内容
n：读取匹配行下一行，覆盖保持空间
N：读取匹配行，追加保持空间
d：删除模式空间的内容
D：删除多行模式空间中的首行
注意：命令功能可使用!取反；分号可用于分隔脚本；
示例：
在文件中的每行后方添加空白行；
#sed ‘G‘ /etc/issue
保留最后一行；
#sed ‘$!d‘ /etc/fstab
保证指定的文件每一行后方有且只有一个空白行；
#sed ‘/^$/d;G‘ /etc/issue
保留奇数行；
#sed ‘n;d‘ /etc/issue
awk是由Aho, Weinberger和Kernighan共同开发的编程语言。基本语法与C语言类似。
awk功能与sed相似，都是用来进行文本处理的，awk语言可以从文件或字符串中基于指定规则浏览和抽取信息，在抽取信息的基础上，才能进行其他文本操作。
awk是一种编程语言，awk实际是指向gawk的符号链接。
1、基本语法
awk [options] ‘program‘ file file ...
awk [options] ‘PATTERN{action}‘ file file...
-F CHAR：输入分隔符
2、awk的输出：
print item1, item2,...
要点：
(1) 各项目之间使用逗号分隔，而输出时则使用输出分隔符分隔；
(2) 输出的各item可以字符串或数值、当前记录的字段、变量或awk的表达式；数值会被隐式转换为字符串后输出；
(3) print后面item如果省略，相当于print $0；输出空白，使用pirnt ""；
3、awk的变量
内置变量，自定义变量
3.1 内置变量
FS：Field Seperator, 输入时的字段分隔符
示例：
#awk ‘BEGIN{FS=":"}{print $1,$7}‘ /etc/passwd 
RS：Record Seperator, 输入行分隔符
OFS: Output Field Seperator, 输出时的字段分隔符;
ORS: Outpput Row Seperator, 输出时的行分隔符；
NF：Numbers of Field，字段数
NR：Numbers of Record, 行数；所有文件的一并计数；
FNR：行数；各文件分别计数；
ARGV：数组，保存命令本身这个字符，awk ‘{print $0}‘ 1.txt 2.txt，意味着ARGV[0]保存awk,
ARGC: 保存awk命令中参数的个数；
FILENAME： awk正在处理的当前文件的名称；
3.2 可自定义变量
-v var_name=VALUE
变量名区分字符大小写；
(1) 可以program中定义变量；
(2) 可以命令行中通过-v选项自定义变量；
4、awk的printf命令
命令的使用格式：printfformat, item1, item2,...
要点：
(1) 要指定format；
(2) 不会自动换行；如需换行则需要给出\n
(3) format用于为后面的每个item指定其输出格式；
format格式的指示符都%开头，后跟一个字符：
%c: 显示字符的ASCII码；
%d, %i: 十进制整数；
%e, %E: 科学计数法显示数值；
%f: 显示浮点数；
%g, %G: 以科学计数法格式或浮点数格式显示数值；
%s: 显示字符串；
%u: 显示无符号整数；
%%: 显示%自身；
修饰符：
#：显示宽度
-：左对齐
+：显示数值的符号
.#: 取值精度
5、awk输出重定向
print items > output-file
print items >> output-file
print items | command
特殊文件描述符：
/dev/stdin: 标准输入
/dev/stdout: 标准输出
/dev/stderr: 错误输出
6、awk的操作符
算术操作符：
x+y
x-y
x*y
x/y
x**y, x^y
x%y
-x：负值
+x：转换为数值
字符串操作符：连接
赋值操作符：
=
+=
-=
*=
/=
%=
^=
**=
++
--
如果模式自身是=号，要写为/=/
比较操作符：
<
<=
>
>=
==
!=
~：模式匹配，左边的字符串能够被右边的模式所匹配为真，否则为假；
!~: 与上面相反
逻辑操作符：
&&： 与
||：或
条件表达式:
selector?if-true-expression:if-false-expression
示例：
#awk -F: ‘{$3>=1000?utype="commonuser":utype="admin or system user";print$1,"is",utype}‘ /etc/passwd 
函数调用：
function_name(argu1,argu2)
7、模式
(1) Regexp: 格式为/PATTERN/
仅处理被/PATTERN/匹配到的行；
(2) Expression: 表达式，其结果为非0或非空字符串时满足条件；
仅处理满足条件的行；
(3) Ranges: 行范围，此前地址定界，
NR
仅处理范围内的行
(4) BEGIN/END: 特殊模式，仅在awk命令的program运行之前（BEGIN）或运行之后（END）执行一次；
(5) Empty:空模式，匹配任意行；
8、常用的action
(1) Expressions
(2) Control statements
(3) Compound statements
(4) input statements
(5) output statements
9、控制语句
9.1 if-else
格式：if(condition) {then body} else {else body}
示例：
#awk -F: ‘{if($3>=500) {print $1,"is a common user"} else {print $1, "isan admin or system user"}}‘ /etc/passwd 
#awk ‘{if (NF>=8){print}}‘ /etc/inittab 
9.2 while
格式：while(condition) {while body}
示例：
#awk ‘{i=1; while(i<=NF){printf "%s ",$i;i+=2};print ""}‘ /etc/inittab 
#awk ‘{i=1; while(i<=NF){if (length($i)>=6) {print $i}; i++}}‘ /etc/inittab 
length()函数：取字符串的长度
9.3 do-while循环
格式：do{do-while body} while (condition)
9.4 for循环
格式：for(variable assignment; condition; iteration process) {for body}
示例：
#awk ‘{for(i=1;i<=NF;i+=2){printf "%s ",$i};print ""}‘/etc/initta
#awk ‘{for(i=1;i<=NF;i++){if (length($i)>=6) print $i}}‘ /etc/inittab
for循环可用来遍历数组元素：
语法：for (i inarray) {for body}
9.5 case语句
语法：switch(expression) {case VALUE or /RGEEXP/: statement1;... default: stementN}
9.6 循环控制
break
continue
9.7 next
提前结束对本行的处理进而提前进入下一行的处理；
#awk -F: ‘{if($3%2==0)next;print $1,$3}‘ /etc/passwd
#awk -F: ‘{if(NR%2==0) next;print NR,$1}‘ /etc/passwd
10、数组
传统数组：Index编号从1开始；
关联数组：
array[index-expression]
index-expression: 可以使用任意字符串; 如果某数组元素事先不存在，那么在引用时，awk会自动创建此元素并将其初始化为空串；因此，要判断某数组是否存在某元素，必须使用“index in array”这种格式；
A[first]="helloawk"
printA[second]
要遍历数组中的每一个元素，需要使用如下特殊结构：
for (var inarray) {for body}
其var会遍历array的索引；
state[LISTEN]++
state[ESTABLISHED]++
示例：
#netstat -tan| awk ‘/^tcp/{++state[$NF]}END{for (s in state) {print s,state[s]}}‘
删除数组元素：
delete array[index]
11、awk的内置函数
split(string,array[,fieldsep[,seps]])：
功能：将string表示的字符串以fieldsep为分隔符进行切片，并切片后的结果保存至array为名的数组中；数组下标从1开始；
root:x:0:0::/root:/bin/bash
user[1]="root", user[2]
此函数有返回值，返回值为切片后的元素的个数
示例：
#netstat -tn | awk‘/^tcp/{lens=split($5,client,":");ip[client[1]]++}END{for (i in ip)print i,ip[i]}‘ 
length(string)
功能：返回给定字串的长度
substr(string,start[,length])
功能：从string中取子串，从start为起始位置为取length长度的子串；
标签：sed awk
原文地址：http://2280627.blog.51cto.com/2270627/1697863
