sed 处理文本工具
一、概述
Stream EDitor,行编辑器
sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等
sed 是一种非交互式的文本编辑器,通过给定条件自动的逐行去处理文件。
grep是用来检索关键字的,sed 却是搜索匹配处理文本工具。
二、功能
sed 所具有的功能:数据的替换,删除,新增等,这里的数据可以是一些关键字,也可以是一些特定的行。
三、语法结构及用法:
1.语法结构:sed [option]... ‘script‘ inputfile...
2.常用选项:
-n:不输出模式空间内容的自动打印(静默模式)
-e: 多点编辑,指定多脚本编辑
-f /PATH/TO/SCRIPT_FILE: 从指定文件中读取编辑脚本并运行。
-r: 支持使用扩展正则表达式
-i: 原处编辑(直接修改源文件) -i.back(备份)
3.地址界定(抽取的域):
(1) 不给地址:对全文进行处理
(2) 单地址:
#: 表示数字,指定的行
$:最后一行
/pattern/:被此处模式所能够匹配到的每一行
(3) 地址范围:
#1,#2 :从#1行,到#2行
#,+n:从#行开始,一直到向下的n行
/pat1/,/pat2/:从第一次被pat1匹配到的行开始,到第一次被pat2匹配到的行结束,中间的所有行;
#,/pat1/: 从#行开始,到第一次被pat1匹配到的行结束,中间的所有行。
(4) ~:步进,指定起始行及步长。
1~2 奇数行
2~2 偶数行
4.编辑命令:
d: 删除模式空间匹配的行
p: 打印模式空间中的内容
a\text:在行后面追加文本;支持使用\n实现多行追加
i\text:在行前面插入文本;支持使用\n实现多行插入
c\text:替换行为单行或多行文本
w /path/to/somefile: 把指定的内容另存至/path/to/somefile路径所指定的文件中。
r /path/from/somefile:在文件的指定位置插入另一个文件的所有内容,完成文件合并。
= : 为模式空间中的行打印行号
! :模式空间中匹配行取反处理
注意:这里添加或替换的内容,只是在模式空间中改变,原文件并没有被修改,如果要修改源文件 加 -i 选项(慎用)
5.查找替换(很重要):
s///:查找替换,支持使用其它分隔符:s@@@,s###
如:s/string1/string2/ 用string2 替换string1,string 可以是字符串也可以是正则表达式。
替换标记:
g: 行内全局替换
p: 显示替换成功的行
w /PATH/TO/SOMEFILE :将替换成功的行保存至文件中
6.sed示例:
sed‘2p’ /etc/passwd
sed–n ‘2p’ /etc/passwd
sed–n ‘1,4p’ /etc/passwd
sed–n ‘/root/p’ /etc/passwd
sed–n ‘2,/root/p’ /etc/passwd从2行开始
sed-n ‘/^$/=’ file 显示空行行号
sed–n –e ‘/^$/p’ –e ‘/^$/=’ file
sed‘/root/a\superman’ /etc/passwd行后
sed‘/root/i\superman’ /etc/passwd行前
sed‘/root/c\superman’ /etc/passwd代替行
sed‘/^$/d’ file 删除空行
sed‘1,10d’ file
nl /etc/passwd| sed‘2,5d’
nl /etc/passwd| sed‘2a\tea’
sed‘s/test/mytest/g‘ example
sed–n‘s/root/&superman/p’ /etc/passwd单词后
sed–n‘s/root/superman&/p’ /etc/passwd单词前
sed-e ‘s/dog/cat/’ -e ‘s/hi/lo/’ pets 多次处理
sed–i.bak ‘s/dog/cat/g’ pets
7.保持空间及高级命令
sed 除了“模式空间”(pattern space),还有一个“hold space”的内存空间,称之为 保持空间。
所谓保持空间,就是,对于模式空间处理过的行,可能还有其他的处理,因此可以先把处理过的行“传送”至保存空间,然后再后续的处理中再次“传送”回模式空间中。 这就类似于加工车间和仓库的概念,好比模式空间为加工车间,保持空间为仓库,不过这里的仓库存放的都是些半成品的产品。
高级编辑命令:
h: 把模式空间中的内容覆盖至保持空间中
H:把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G:从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N:追加匹配到的行的下一行至模式空间
d: 删除模式空间中的行
D:删除当前模式空间开端至\n的内容(不在传至标准输出),放弃之后的命令,但是对剩余模式空间重新执行sed
示例:
sed -n ‘n;p‘ FILE
sed ‘1!G;h;$!d‘ FILE
sed ‘$!N;$!D‘ FILE
sed ‘$!d‘ FILE
sed ‘G’ FILE
sed ‘g’ FILE
sed ‘/^$/d;G’ FILE
sed ‘n;d‘ FILE
sed -n ‘1!G;h;$p‘ FILE
练习:
1、删除/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符
2、删除/etc/fstab文件中所有以#开头,后面至少跟一个空白字符的行的行首的#和空白字符
3、在/root/install.log每一行行首增加#号
4、在/etc/fstab文件中不以#开头的行的行首增加#号
5、处理/etc/fstab路径,使用sed命令取出其目录名和基名
过程分析如下
6、利用sed 取出ifconfig命令中本机的IPv4地址
7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数
总结与感悟:
1.通过对sed的学习,知道了sed相对于grep的功能更加强大。
区别:
grep只是一个文本过滤工具,作用就是根据用户指定的过滤条件对目标文件逐行进行匹配检查,打印匹配到的行。
sed是一种非交互式的文本编辑器(通过给定的条件自动逐行的去处理文件),grep只是用来检索条件关键字的,而sed是搜索匹配处理文本工具,功能可以实现数据的替换、删除、新增等,更加强大。
2.在处理一些题目时,可以采用的思路方法:
对目标文件利用扩展的正则表达式,进行分组处理,用组表示出所有的内容,然后把想要的内容用前面的分组替换。
注意 .* 的灵活应用,转义符 \ 的使用(在.和()中使用)以及匹配次数的灵活应用 \+
原文地址:http://1992tao.blog.51cto.com/11606804/1836544