码迷,mamicode.com
首页 > 其他好文 > 详细

sed高级命令

时间:2015-02-13 10:06:52      阅读:213      评论:0      收藏:0      [点我收藏+]

标签:

所谓高级,主要是指这里将要提到的命令都能改变sed执行或者控制的流程顺序(sed通常都是一行被读入模式空间,并用脚本中的sed命令一个接一个的应用于那一行)。

高级sed命令分成3个组:

1)处理多行模式空间(N、D、P)。

2)采用保持空间来保存模式空间的内容并使他们可用于后续的命令(H、h、G、g、x)。

3)编写使用分支和条件指令的脚本来更改控制流(:、b、t)。

1、N命令:追加下一行

多行Next(N)命令通过读取当前行的下一行,并把两行拼成一行来进行接下来的处理。

shenweiyan@localhost 14:04:52 ~
=> cat file
line
1
line
2
line
3
line
4

file文件中的每一行后面都有一个隐藏的换行符”\n”,sed不对每行末尾的”\n”进行处理。

shenweiyan@localhost 14:04:52 ~
=> sed N file
line
1
line
2
line
3
line
4

经过N处理过的输出和原文件没有区别,但是本质是不一样的。这里sed其实认为自己打印的是2行,第一行为”line 1\nline 2”,而第2行为”line 3\nline 4”,注意这里的2行末尾依然隐藏换行符”\n”,sed依然不处理行尾的”\n”,但是处理行内的”\n”。因为这里默认的动作是打印,所以处理行内的”\n”我们也看不出来。

值得注意的是,处理line 1时,line 2被读入并追加到line 1后面,所以line 1处理完后不再读入line 2(前面已经读过了)而直接读入line 3进行下一个N命令(即读入line 4并追加到line 3后面)。

上面2段如果不理解的话,看下面这个命令:

shenweiyan@localhost 14:07:04 ~ 
=> sed ‘N;s/\n/ /g‘ file
line 1 line 2
line 3 lin3 4

这个命令在原来的基础上把行内的”\n”替换成空格了(尽管用了全局替换标志g,sed依然不处理行尾换行符!),看明白N的作用了吗,单独的N可以创建2行模式空间。

 

2、D命令:删除多行模式空间中,直到第一个行内的”\n”为止的所有内容。

D命令通常位于N命令之后,用于处理N命令创建的多行模式空间。D命令删除多行模式空间行内第一个”\n”及其之前的内容后,对余下的内容(第一个行内”\n”之后的内容)重新从sed第一个命令进行处理。

D和d的相同点是,删除内容后,重新从sed第一个命令开始处理,这一点看来D和d都有改变sed执行顺序的能力;区别在于d删除模式空间中的所有内容,然后重新读取文本下一行从sed顶部进行处理,而D删除模式空间的一部分内容,而将模式空间剩下的内容从sed顶部进行处理。

shenweiyan@localhost 14:09:24 ~ 
=> sed N;d file  
shenweiyan@localhost 14:09:31 ~ 
=> sed N;D file 
line 4
shenweiyan@localhost 14:09:43 ~ 
=>

‘N;d’每次创建2行模式空间,并将模式空间的内容全部删除,所以结果所有4行(sed看来是2行)都删除了。如果file有5行数据,则第5行将被打印出来,因为第5行执行N时读不到下一行了,所以d不执行,打印第5行,你可以自己试一试。

‘N;D’每次创建2行模式空间,删除前面一行,并将模式空间的第2行继续执行’N;D’,直到最后一行N没内容可读,不执行D,而是打印最后一行。’N;D’实际构成了一个循环(想想N直接读入下一行,对2行进行处理,下一次对第2行就不处理了而是读取第3行处理;而加了D之后,先处理2行,再对剩下的第2行接着进行处理)

 

3、P命令:打印模式空间直到第一个”\n”为止的所有内容。

p(小写)是打印模式空间的所有内容,P(大写)是打印模式空间的一部分,这一区别和D/d类似。有一点要注意,不要把任何命令放在d或者D后面,因为那样该命令永远也没有执行的机会了。例如sed ‘N;D;P’ file和sed ‘N;D’ file是完全相同的效果。

shenweiyan@localhost 14:12:05 ~ 
=> cat file 
line 1 li
cong line 2
line 3 licong
line 4 li
cong line 5

我们要把分在两行的li和cong合到一行应该怎么做呢?

shenweiyan@localhost 14:12:09 ~ 
=> sed N;s/li\ncong */licong\n/g;P;D file
line 1 licong
line 2
line 3 licong
line 4 licong
line 5

执行这个sed命令的流程是这样的:

① 首行文本应用N读取下一行,构成2行模式空间

   line 1 li\n

   cong line 2

   s命令将li\ncong (注意cong后有一个空格)替换成licong\n,即

   line 1 licong

   line 2

   接着执行P,打印line 1 licong(P结束后两行模式空间没有改变)

   再对两行模式空间执行D,删除line 1 licong\n,并将剩下的line 2做为新的模式空间从头执行sed命令;

② 对模式空间内容line 2先执行N,读取下一行line 3 licong,创建两行模式空间

    line 2

    line 3 licong

   这次s没找到匹配内容,所以执行s后面的P;D命令,重新打印、删除,进行下一轮循环;

   。。。

③ 最后一行line 5执行N没有内容可读,直接打印该行。

 

4、h、H、g、G、x这几个命令都是用于模式空间和保持空间转换的。这里有必要解释一下模式空间和保持空间了:

模式空间——容纳当前输入行的缓冲区。

除了h/H/g/G/x,其他所有sed命令都是针对模式空间的内容进行处理的!

保持空间——模式空间以外的一个预留缓冲区。

只有h/H/g/G/x命令可以访问到保持空间的内容,并用于与模式空间内容的转换。

h:将模式空间的内容复制到保持空间,类似与重定向符号>,会覆盖原由保持空间内容

H:将模式空间的内容追加到保持空间,类似与追加重定向>>,追加到保持空间的尾行下

g:类似h,将保持空间的内容复制到模式空间

G:类似H,将保持空间的内容追加到模式空间

x:交换模式空间与保持空间中的内容 

shenweiyan@localhost 14:17:40 ~ 
=> cat file 
1
2
11
22
shenweiyan@localhost 09:29:59 ~ 
=> sed /1/{h;d};/2/G file 
2
1
22
11

这个sed命令完成了反转的功能,我们来看看是怎么实现的:

① /1/{h;d}命令搜索模式空间包含1的行然后先后执行h和d命令。结果首行1将被应用,h把该行(内容为1)复制到保持空间,此时模式空间和保持空间中的内容为:

   模式空间:1

   保持空间:1

   接着执行d,d不能访问保持空间,只处理模式空间的内容,将模式空间的内容删除,此时:

   模式空间: (空,没有内容)

   保持空间:1

② d命令执行完之后,执行/2/G,即在模式空间搜索包含2的行进行G处理,而此时模式空间无内容,所以不做任何操作。

③ 读取下一行文本到模式空间,继续执行’/1/{h;d};/2/G’。下一行文本的内容是2,此时:

   模式空间:2

   保持空间:1

   与步骤二的道理相同,h、d得不到执行(因为模式可空间没找到包含1的行);而’/2/G’将被执行,将保持空间的内容追加到模式空间后面,此时:

   模式空间:2

   1

   保持空间:1

   这一步完成以后,模式空间的内容将被sed默认地打印出来(如果有-n参数才不打印),于是前两行处理完之后,将输出:

   2

   1

   同理,后两行处理完之后,将输出:

   22

   11

   于是,我们看到了最后的结果:

   2

   1

   22

   11

这个最简单的例子有很多地方值得挖掘,我们就来看看最重要的几点:

1)当sed后面带有一个以上的命令时,它的处理顺序是这样的:一次读入一行到模式空间,然后将所有的命令应用于该行;而不是一次将一个命令作用与所有行;

2)当某个条件后面有{}时,{}里面的命令依次作用于满足该条件的行;

3)h/H/g/G命令操作缓冲区时,都会在目的缓冲区后加一个换行(即使该缓冲区无内容),然后复制或追加源缓冲区内容在该换行符之后;

4)没有使用-n参数时,当一行执行完所有命令后,sed会默认打印最终模式空间中的内容;

如果使用-n参数,只有应用了p/P命令的模式空间内容才会被打印出来。

 

5、x命令暂不举例,我们来看看最后一组高级命令(:、b、t)

分支(b)和测试(t)命令几乎可以任意改变sed命令的执行顺序,他们都将sed转移到包含标签的行,如果没有指定标签,则将转移到命令末尾。b用于无条件的转移(即一碰到b立刻转移);t用于有条件转移,只有当替换命令改变当前行时才会执行。

标签定义:

:lable

lable可以随便用什么名字,自己能方便看明白就行;冒号和标签之间不允许有空格,lable后面如果有空格将被认为是lable的一部分(不建议在lable后面带空格)

b和t的用法:

[address]b [lable]

[address]t [lable]

b/t和lable之间有空格,但lable后面不要插入空格。

举例:

shenweiyan@localhost 09:35:57 ~ 
=> cat file 
line 1 li
cong line 2
line 3 licong
line 4 li
cong line 5
shenweiyan@localhost 09:36:00 ~ 
=> sed -n $!{/licong/!{h;N;D}
> x;G;N;p;b
> }
> ${/licong/{x;G;p}} file
cong line 2
line 3 licong
line 4 li

这个sed命令的功能是寻找包含字符串licong的行,并打印该行及其前后一行。这个命令并不完善,它不能很好的处理第一行匹配的情况,加入该功能命令会变得更复杂。我们来解释一下上面的结果是怎么来的。

sed -n ‘$!{/licong/!{h;N;D}

   x;G;N;p;b

   }

对除末行以外的所有行($!的作用),执行/licong/!{h;N;D};x;G;N;p;b

/licong/!{h;N;D}

   对不包含字符串licong的行依次执行h;N;D,第一行line 1 li不包含licong,于是执行:

   把该行复制到保持空间,读取追加下一行,此时

   模式空间:line 1 li

   cong line 2

   保持空间:line 1 li

   再对模式空间执行D,并接着从头处理新的模式空间,此时

   模式空间:cong line 2

   保持空间:line 1 li

从头对模式空间的内容cong line 2执行$!{/licong/!{h;N;D},此时的模式空间依然不包含licong,所以进行一二两步同样的操作,结束后:

   模式空间:line 3 licong

   保持空间:cong line 2

④ 再从头对新的模式空间line 3 licong执行/licong/!{h;N;D};x;G;N;p;b。因为此时的模式空间包含licong,所以不执行h;N;D了,而是执行x;G;N;p;b。x用与交换模式空间和保持空间的内容,交换的结果是:

   模式空间:cong line 2

   保持空间:line 3 licong

   接下来执行G,将保持空间的内容追加到模式空间之后:

   模式空间:cong line 2

   line 3 licong

   保持空间:line 3 licong

   再执行N,将下一行读取追加到模式空间之后:

   模式空间:cong line 2

   line 3 licong

   line 4 li

   保持空间:line 3 licong

   再执行p,打印模式空间的内容:

   cong line 2

   line 3 licong

   line 4 li (这就是我们看到的结果)

   之后还有一个b,就是跳过b后面的命令,再读下一行。命令最后一部分${/licong/{x;G;p}}是用来处理最后一行的,如果最后一行包含licong则打印该行很上面一行(而不打印下一行,因为没有N命令)

 

到此,sed的高级命令就介绍完了。《sed&awk》第二版有一句话:“一旦你理解了这里所给出的命令,那么就可以认为自己是真正的sed的主人了。”

再总结一下sed所有的功能,总的来说还是替换命令’[address]s/source/replace/flag’最常用,而高级命令则用于完成复杂的任务;还有sed的-n(抑制默认输出)、-i(更改原文件)等参数也很常用。

 

转载自:http://licong.blog.51cto.com/542131/204226

 

———— Weiyan Shen.2015.02.13.

sed高级命令

标签:

原文地址:http://www.cnblogs.com/shenweiyan/p/4289700.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!