Linux Shell学习-sed命令详解

标签：linux

(1)、sed介绍

Sed是流编辑器，stream editor，它是一个将一些列编辑命令作用于一批文本文件的理想工具。

(2)、sed工作原理

Sed是一个非交互式文本编辑器，它可以对文本文件和标准输入进行编辑，标准输入可以是来自键盘输入、文件重定向、字符串、变量，甚至来自管道的文本。

Sed从文本的一个文本行或标准输入中读取数据，将其复制到缓冲区，然后读取命令行或脚本的第一个命令，对此命令要求的行号进行编辑，重复此过程，直到命令行或脚本中的所有命令都执行完毕。

相对于诸如vi等其他文本编辑器，sed可以一次性处理所有的编辑任务，显得非常高效，为用户节省大量的时间。

(3)、Sed使用场景

• 编辑相对交互式文本编辑器而言太大的文件

• 编辑命令太复杂，在交互式文本编辑器中难以输入的情况

• 对文件扫描一遍，但是需要执行多个编辑函数的情况。

(4)、sed执行三种方式

• 在shell命令行输入命令调用sed

格式：sed [选项] ‘sed命令’ 输入文件

• 将sed命令插入脚本文件后，然后通过sed命令调用

格式：sed [选项] -f sed脚本文件输入文件

• 将sed命令插入脚本文件后，最常用的方法是设置该脚本文件为可执行，然后执行该脚本。

格式：shell>./sed脚本文件输入文件

不指定输入文件，sed将从标准输入中接收输入。

(5)、sed常用选项

• -n 不打印所有行到标准输出

• -e 表示将下一个字符串解析为sed编辑命令，如果只有一个编辑命令给sed，-e选项可以省略。

• -f 表示正在调用sed脚本文件。

(6)、sed命令

Sed命令通常由定位文件行和sed编辑两部分组成。

Sed编辑命令对定位文本行进行各种处理。

Sed提供以下两种文本

• 使用行号，指定一行，或指定行号范围

• 使用正则表达式

Sed定位文本的方法如下：

• x x为指定行号

• x,y 指定从x到y的行号范围

• /pattern/ 查询包含模式的行

• /pattern/pattern/ 查询包含两个模式的行

• /pattern/,x 从与pattern的匹配行到x号行之间的行

• x,/pattern/ 从x号行到与pattern的匹配行之间的行

• x,y! 查询不包含x到y行号的行

sed编辑命令

• p 打印匹配行

• = 打印文件行号

• a\ 在定位行号之后追加文本信息

• i\ 在定位行号之前追加文本信息

• d 删除定位行

• c\ 用新文本替换定位文本

• s 是替换模式替换相应模式

• r 从另一个文件中读文本

• w 将文本写入到一个文件

• y 变换字符

• q 第一个模式匹配完成后退出

• l 显示与八进制ASCII码等价的控制字符

• {} 在定位行执行的命令组

• n 读取下一个输入行，用下一个命令处理新的行

• h 将模式缓冲区的文本复制到保持缓冲区

• H 将模式缓冲区的文本追加到保持缓冲区

• x 互换模式缓冲区和保持缓冲器的内容

• g 将保持缓冲区的内容复制到模式缓冲区

• G 将保持缓冲区的内容追加到模式缓冲区

• 
  

(7)、sed示例

1)、-n选项

-n选项表示不打印文件的所有行。

Sed编辑命令p选项：实现打印匹配行。

-n结合p实现打印匹配到的行

[root@MuBanJi_01 t]# cat a4.txt

66888777

877777

8877777

8887777

8888777

888 999

8888888

88877777

8abc7777

a87cccc

A87cccc

You have new mail in /var/spool/mail/root

[root@MuBanJi_01 t]# cat a4.txt |sed  ‘1p‘

66888777

66888777

877777

8877777

8887777

8888777

888 999

8888888

88877777

8abc7777

a87cccc

A87cccc

[root@MuBanJi_01 t]# cat a4.txt |sed -n ‘1p‘

66888777

[root@MuBanJi_01 t]#

###/pattern/,x 从与pattern的匹配行到x号行之间的行#####

[root@MuBanJi_01 t]# cat a4.txt -n

     1  66888777

     2  877777

     3  8877777

     4  8887777

     5  8888777

     6  888 999

     7  8888888

     8  88877777

     9  8abc7777

    10  a87cccc

    11  A87cccc

[root@MuBanJi_01 t]#

[root@MuBanJi_01 t]# cat a4.txt |sed -n ‘/^87.*/,8p‘

877777

8877777

8887777

8888777

888 999

8888888

88877777

[root@MuBanJi_01 t]#

2)、-e选项

-e带多个编辑命令

格式：sed [选项] –e 编辑命令1  -e 编辑命令2 ….. 输入文件

[root@MuBanJi_01 t]# cat a4.txt -n|sed -n  -e ‘1,3=‘ -e ‘1,3p‘

1

     1  66888777

2

     2  877777

3

     3  8877777

3)、-f参数

Shell>cat a4.txt

66888777

877777

8877777

8887777

8888777

888 999

8888888

88877777

8abc7777

a87cccc

A87cccc

Shell>touch s1.sed

Shell>cat s1.sed

#!/bin/sed -f

/A87cccc/a\

hello world \

what\

who

shell>chmod a+x s1.sed

shell>./s1.sed a4.txt

66888777

877777

8877777

8887777

8888777

888 999

8888888

88877777

8abc7777

a87cccc

A87cccc

hello world

what

who

4)、匹配最后一行

Sed结合$符号匹配最后一行。p参数可以在引号内也可以在引号外。

[root@MuBanJi_01 t]# cat a4.txt -n

     1  66888777

     2  877777

     3  8877777

     4  8887777

     5  8888777

     6  888 999

     7  8888888

     8  88877777

     9  8abc7777

    10  a87cccc

    11  A87cccc

[root@MuBanJi_01 t]# cat a4.txt -n|sed -n ‘$p‘

    11  A87cccc

[root@MuBanJi_01 t]# cat a4.txt -n|sed -n ‘$‘p

    11  A87cccc

[root@MuBanJi_01 t]#

5)、打印不在1-3之间的行

[root@MuBanJi_01 t]# cat a4.txt -n

     1  66888777

     2  877777

     3  8877777

     4  8887777

     5  8888777

     6  888 999

     7  8888888

     8  88877777

     9  8abc7777

    10  a87cccc

    11  A87cccc

[root@MuBanJi_01 t]# cat a4.txt -n|sed  -n   ‘1,3!p‘

     4  8887777

     5  8888777

     6  888 999

     7  8888888

     8  88877777

     9  8abc7777

    10  a87cccc

    11  A87cccc

[root@MuBanJi_01 t]#

6)、追加文本

Sed编辑命令a\符号用户追加文本，它可以将制定文本的一行或多行追加到指定行后面。如果不指定文本追加位置，sed默认放置到每一行的后面。

追加文本的格式为：

Sed ‘指定地址a\text’ 输入文件

[root@Test01 t1]# cat a1.txt

123

456

789

333

[root@Test01 t1]# cat a1.txt |sed ‘/456/a\hello‘

123

456

hello

789

333

[root@Test01 t1]# cat a1.txt |sed ‘a\hello‘

123

hello

456

hello

789

hello

333

hello

[root@Test01 t1]#

7)、插入文本

插入文本和追加文本类似，区别仅在于追加文本是在匹配行的后面插入，而插入文本是在匹配行的前面插入，sed编辑命令的插入文本符号是i\，插入文本的格式为：

Sed ‘指定地址i\text’ 输入文件

[root@Test01 t1]# cat a1.txt

123

456

789

333

[root@Test01 t1]# cat a1.txt |sed ‘/456/i\hello‘

123

hello

456

789

333

[root@Test01 t1]#

8)、修改文本

将匹配到的行利用新文本替代。

Sed编辑命令的修改文本符号为c\。

修改文本的格式为：

Sed ‘指定地址c\text’  输入文件

[root@Test01 t1]# cat a1.txt

123

456

789

333

[root@Test01 t1]# cat a1.txt |sed ‘/456/c\hello‘

123

hello

789

333

[root@Test01 t1]#

9)、删除文本

Sed删除命令可以将指定行或指定行范围进行删除

Sed编辑命令的删除文本符号为d，删除文本格式为：

Sed ‘指定地址d’  输入文件

删除空行

[root@Test01 t1]# cat a2.txt

123

456

789

333

[root@Test01 t1]# cat a2.txt |sed ‘/^$/d‘

123

456

789

333

[root@Test01 t1]#

10)、替换文本

Sed替换文本操作将匹配的文本行利用新文本替换，替换文本与修改文本功能有相似之处，它们之前的区别在于：替换文本可以替换一个字符串，而修改文本是对整行进行修改。

另外，替换文本通过替换选项使得文本替换更为灵活，功能更为强大，sed编辑命令的替换文本符号为s。

替换文本的格式为：

Sed ‘s/被替换的字符串/新字符串/[替换选项]’ 输入文件

S表示sed指定替换文本操作，sed命令首先匹配被替换的字符串，匹配成功后用新字符串替换它。

Sed替换选项

• g 表示替换文本中所有出现被替换字符串之处

• p 与-n选项结合，只打印替换行

• w文件名表示将输出定向到一个文件

替换选项为空

如果替换选项为空，则打印出替换后的全部文本。并且替换只替换本行第一次匹配到的字符就停止，然后继续下一行。

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed  ‘s/123/aaa/‘

aaa a123

456

789

333

aaa

[root@Test01 t1]#

替换选项p

-n –p结合使用：只打印替换行

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed  -n ‘s/123/aaa/p‘

aaa a123

aaa

[root@Test01 t1]#

缺少p命令，将不打印任何命令

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed  -n ‘s/123/aaa/‘

[root@Test01 t1]#

替换选项g

g选项，替换本行所有匹配的字符串

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed   ‘s/123/aaa/g‘

aaa aaaa

456

789

333

aaa

[root@Test01 t1]#

-n –p –g一起使用：打印匹配到的行，并且是替换匹配到的所有字符串

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed  -n  ‘s/123/aaa/pg‘

aaa aaaa

aaa

[root@Test01 t1]#

替换第几次匹配的字符串

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed ‘s/123/aaa/2g‘

123 aaaa

456

789

333

123

[root@Test01 t1]#

替换选项w

[root@Test01 t1]# cat a1.txt |sed    ‘s/123/aaa/g w a11.txt‘

aaa aaaa

456

789

333

aaa

[root@Test01 t1]# cat a11.txt

aaa aaaa

aaa

[root@Test01 t1]#

已匹配字符串标记（&）

在sed中，我们可以用 &标记匹配样式的字符串，这样就能够在替换字符串时使用已匹配的内容

例如：

$ echo this is an example | sed ‘s/\w\+/[&]/g‘

[this] [is] [an] [example]

正则表达式 \w\+ 匹配每一个单词，然后我们用[&]替换它。& 对应于之前所匹配到的单词。

子串匹配标记（\1）

& 代表匹配给定样式的字符串。但我们也可以匹配给定样式的其中一部分。来看看具体的做法。

$ echo this is digit 7 in a number | sed ‘s/digit \([0-9]\)/\1/‘

this is 7 in a number

这条命令将digit 7替换为7。样式中匹配到的子串是7。\(pattern\)用于匹配子串。模式被包括在使用斜线转义过的()中。对于匹配到的第一个子串，其对应的标记是 \1，匹配到的第二个子串是 \2，往后依次类推。下面的示例中包含了多个匹配：

$ echo seven EIGHT | sed ‘s/\([a-z]\+\) \([A-Z]\+\)/\2 \1/‘

EIGHT seven

([a-z]\+\)匹配第一个单词，([A-Z]\+\)匹配第二个单词。\1和\2用来引用它们。这种引用被称为向后引用（back reference）。在替换部分，它们的次序被更改为\2 \1，因此结果就呈现出逆序的形式。

11)、写入一个新文件

Sed命令只是对缓冲区中输入文件的复制内容进行编辑，如果要保存编辑结果，需要将年纪后的文本重定向到另一个文件，sed写入文件的符号为w

基本格式为：

Sed ‘指定地址 w 文件名’ 输入文件

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed -n  ‘/12/p‘

123 a123

123

[root@Test01 t1]# cat a1.txt |sed -n  ‘/12/ w a2.txt‘

[root@Test01 t1]# ll

总用量 8

-rw-r--r-- 1 root root 25 9月   6 20:52 a1.txt

-rw-r--r-- 1 root root 13 9月   6 21:53 a2.txt

[root@Test01 t1]# cat a2.txt

123 a123

123

[root@Test01 t1]#

12)、从文件中读入文本

Sed命令可以将其他文件中的文本读入，并附加在指定地址之后，sed读入文件的符号为r

基本格式为

Sed ‘指定地址 r 文件名’ 输入文件

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a3.txt

who are you

how to learn

[root@Test01 t1]# cat a1.txt |sed  ‘4 r a3.txt‘

123 a123

456

789

333

who are you

how to learn

123

[root@Test01 t1]# cat a1.txt |sed  ‘/333/r a3.txt‘

123 a123

456

789

333

who are you

how to learn

123

[root@Test01 t1]#

13)、退出命令

Sed命令的q选项表示完成指定地址的匹配后立即退出

基本格式为

Sed ‘指定地址 q’

打印前三行

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed  ‘3 q‘

123 a123

456

789

[root@Test01 t1]#

匹配到123马上退出

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed  ‘/123/ q‘

123 a123

[root@Test01 t1]#

14)、变换命令

Sed命令的y选项表示字符变换，它将一些列的字符变换为响应的字符

Sed y命令是对字符的逐个处理

基本格式为

Sed ‘y/被变换的字符序列/变换的字符序列/’ 输入文件

Sed y命令将被变换字符序列中的字符逐个用变换字符序列中的字符替代，要求被变换的字符序列和变换的字符序列等长，否则sed y命令将报错。

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed ‘y/a/A/‘

123 A123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed ‘y/a2/AT/‘

1T3 A1T3

456

789

333

1T3

[root@Test01 t1]#

15)、显示控制字符

控制字符就是非打印字符，如退格键，F1键、shift键等，有些文件中会包含这些字符，l命令可以显示文件中的控制字符，方便用户对控制字符进行处理。

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed -n  ‘3,$l‘

789$

333$

123$

[root@Test01 t1]#

16)、在定位行执行命令组

Sed编辑命令中的{}符号可以指定在定位行上所执行的命令组，它的作用于sed的-e选项类似，都是为了在定位行执行多个编辑命令。

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# cat a1.txt |sed -n  ‘3,$ {p;=}‘

789

3

333

4

123

5

[root@Test01 t1]# cat a1.txt |sed -n  -e ‘3,$p‘ -e ‘3,$=‘

789

3

333

4

123

5

[root@Test01 t1]#

17)、-i选项

-i选项直接修改文件中文本内容。

[root@Test01 t1]# cat a1.txt

123 a123

456

789

333

123

[root@Test01 t1]# sed -i ‘s/123/BBB/g‘ a1.txt

[root@Test01 t1]# cat a1.txt

BBB aBBB

456

789

333

BBB

[root@Test01 t1]#

18)、编辑命令n-处理匹配行的下一行

Sed编辑命令n的意义是读取下一个输入行，用n后面的一个命令处理该行，由于此时通常有多个编辑命令，所以编辑命令n需要与{}符号结合使用。

[root@Test01 t1]# cat a1.txt

456

BBB aBBB

456

789

333

BBB

456

[root@Test01 t1]# cat a1.txt |sed ‘/BBB/{n;s/456/AAA/;}‘

456

BBB aBBB

AAA

789

333

BBB

AAA

[root@Test01 t1]#

19)、组合多个表达式

[root@Test01 t1]# cat a1.txt

456

BBB aBBB

456

789

333

BBB

456

[root@Test01 t1]# cat a1.txt |sed -n ‘/BBB/p;/456/p‘

456

BBB aBBB

456

BBB

456

[root@Test01 t1]#

可以利用管道组合多个sed命令：

sed ‘expression‘ | sed ‘expression‘

它等价于

$ sed ‘expression; expression‘

或者

$ sed -e ‘expression‘ -e expression‘

20)、sed中的引用

sed表达式通常用单引号来引用。不过也可以使用双引号。双引号会通过对表达式求值来对其进行扩展。当我们想在sed表达式中使用一些变量时，双引号就能派上用场了。

例如：

$ text=hello

$ echo hello world | sed "s/$text/HELLO/"

HELLO world

$text的求值结果是hello。

本文出自 “微小信的运维之道” 博客，请务必保留此出处http://weixiaoxin.blog.51cto.com/13270051/1963313

Linux Shell学习-sed命令详解

标签：linux

原文地址：http://weixiaoxin.blog.51cto.com/13270051/1963313