码迷,mamicode.com
首页 > 系统相关 > 详细

Linux 篇 | 文本处理三剑客之SED

时间:2019-04-09 20:17:58      阅读:210      评论:0      收藏:0      [点我收藏+]

标签:time   ace   特殊   隐藏文件   Fix   而不是   rfs   ack   usb   

文本处理三剑客之SED

sed不仅可以像grep过滤文件,查找想要的内容,还可以更改文件,这是grep做不到的。

一。sed介绍

  • Stream EDitor, 行编辑器
  • sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。然后读入下行,执行下一个循环。如果没有使诸如‘D’的特殊命令,那会在两个循环之间清空模式空间,但不会清空保留空间。这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。
  • 功能:主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等

二。sed工具

1.命令格式

sed [option]... ‘script(脚本)‘ inputfile(文件)...

2.sed工具

(1)[option]常用选项:

-n                      不输出模式空间内容到屏幕,即不自动打印
-e                      多点编辑
-f /PATH/SCRIPT_FILE    从指定文件中读取编辑脚本
-r                      支持使用扩展正则表达式
-i.bak                  备份文件并原处编辑

(2)‘script‘(脚本)

    脚本分为两部分“地址”和“命令”。

    地址:定位到文本的哪一行,即把希望处理的行过滤出来。可使用各种命令包括正则表达式
    命令:可以实现搜索、替代、显示、修改等,功能丰富

    1)地址定界:

        不给地址:对全文进行处理
        单地址:
            #:指定的行
            $:最后一行
            /pattern/:被此处模式所能够匹配到的每一行
        地址范围:
            #,#
            #,+#
            /pat1/,/pat2/
            #,/pat1/
        ~:步进
            1~2 奇数行
            2~2 偶数行

    2)编辑命令:

        d               删除模式空间匹配的行,并立即启用下一轮循环
        p               打印当前模式空间内容,追加到默认输出之后
        a [\]text       在指定行后面追加文本,支持使用\n实现多行追加
        i [\]text       在行前面插入文本
        c [\]text       替换行为单行或多行文本
        w /path/file    保存模式匹配的行至指定文件
        r /path/file    读取指定文件的文本至模式空间中匹配到的行后
        =               为模式空间中的行打印行号
        !               模式空间中匹配行取反处理

(3)查找替换
    s/// 查找替换,支持使用其它分隔符,s@@@,s###
                还支持正则表达式的分组和后向引用
    格式:s/搜索的内容,可使用正则表达式/替换的内容,可使用正则的后向引用/

        1)替换标记:
            g 行内全局替换
            p 显示替换成功的行
            w /PATH/FILE 将替换成功的行保存至文件中
    查找替换的示例请看下面示例21到30

2.sed工作原理

sed命令每次执行时,会把文件中的某一行读入到一个sed独有的缓存区中,术语叫“模式空间”(pattern space)。使用sed时,模式空间会把文件中的某一行,如第一行,读入到空间里,利用sed的指令处理这一行,如根据条件把这行的一部分数据读出来、删除、搜索或者替换,而且sed在处理时默认会把这行打印出来。处理完这行后,默认会把下一行读入到空间里,根据条件进行处理,就这样以此类推直到处理完文件的每一行。

三。示例

1.sed的自动打印

如下所示,命令是sed,文件是passwd,地址和命令没写,就会继承默认选项,自动打印文件的每一行。

格式:sed ‘地址和命令‘ 文件
[root@centos7 ~]# sed ‘‘ /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
········

2.sed指定行

只打印/etc/passwd文件的第十行

[root@centos7 ~]# sed -n ‘10p‘ /etc/passwd
operator:x:11:0:operator:/root:/sbin/nologin
[root@centos7 ~]#

如果不加“-n”选项,会默认打印/etc/passwd文件,而且第10行会显示两行

3.sed使用正则表达式“/pattern/”

在“地址”位置,使用两个斜线,斜线中间可以使用正则表达式
示例:打印(p命令)/etc/fstab文件以#号开头的行

[root@centos7 ~]# sed -n ‘/^#/p‘ /etc/fstab 
#
# /etc/fstab
# Created by anaconda on Wed Mar  6 18:47:21 2019
#
# Accessible filesystems, by reference, are maintained under ‘/dev/disk‘
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
[root@centos7 ~]#

4.sed使用正则表达式,注意“/”要转义

查看“df显示结果”中以“/dev/sd”开头的行
[root@centos7 ~]# df | sed -n ‘/^\/dev\/sd/p‘
/dev/sda2      104806400  3664852 101141548   4% /
/dev/sda3       52403200    32992  52370208   1% /data
/dev/sda1        1038336   166924    871412  17% /boot
[root@centos7 ~]#

5.sed显示最后一行

显示/etc/passwd文件的最后一行

[root@centos7 ~]# sed -n ‘$p‘ /etc/passwd
niubin:x:1000:1000:niubin:/home/niubin:/bin/bash
[root@centos7 ~]#

5.sed的取反

"!"感叹号是取反的意思
1) /etc/fstab文件中,除了“#号开头”的行都显示
[root@centos7 ~]# sed -n ‘/^#/!p‘ /etc/fstab 

UUID=a4f83d4b-f700-4b81-912f-b3d2bf1bc83b /                       xfs     defaults        0 0
UUID=864a865c-b2d2-427b-8370-42fcb8fb4c7e /boot                   xfs     defaults        0 0
UUID=b734b94b-1f32-4eab-8a02-fe442bbee43e /data                   xfs     defaults        0 0
UUID=80633a75-2496-4b44-8c4c-f196c74b1945 swap                    swap    defaults        0 0
[root@centos7 ~]

2)/etc/passwd文件中,除了第2行都显示

[root@centos7 ~]# sed -n ‘2!p‘ /etc/passwd

6.sed指定第几行到第几行

显示第3行到第6行
seq 10 | sed -n ‘3,6p‘

7.sed指定第几行及其后面几行

显示第3行及后面2行
[root@centos7 ~]# seq 10 | sed -n ‘3,+2p‘
3
4
5
[root@centos7 ~]#

8.sed指定查找“模式1”到“模式2”中间的内容

显示/etc/passwd文件中a开头的行和s开头的行,中间的内容

[root@centos7 ~]# sed -n ‘/^a/,/^s/p‘ /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
abrt:x:173:173::/etc/abrt:/sbin/nologin
rtkit:x:172:172:RealtimeKit:/proc:/sbin/nologin
pulse:x:171:171:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
chrony:x:995:990::/var/lib/chrony:/sbin/nologin
radvd:x:75:75:radvd user:/:/sbin/nologin
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin
nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
unbound:x:994:989:Unbound DNS resolver:/etc/unbound:/sbin/nologin
gluster:x:993:988:GlusterFS daemons:/run/gluster:/sbin/nologin
qemu:x:107:107:qemu user:/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin
geoclue:x:992:986:User for geoclue:/var/lib/geoclue:/sbin/nologin
setroubleshoot:x:991:985::/var/lib/setroubleshoot:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
niubin:x:1000:1000:niubin:/home/niubin:/bin/bash

直到找到s开头的行才结束,但最后一行不是s开头的行,不过,上面却又a开头的行,所以找到最后一行就算不是s行开头,也会结束,并打印。

9.还是模式到模式的应用,面试或生活中在查找日志时会用到

查找日志文件access.log中“9点3XX分钟”开始,到“9点56分”结束的日志信息
注意:以下命令是根据我的日志格式来查找的,不适应全部的日志文件格式

sed -n ‘/.*:09:3./,/.*:09:56./p‘ access.log

10.sed指定查找文件的第X行到模式匹配的中间行

显示/etc/passwd文件中第3行到s开头的行,中间的内容

[root@centos7 ~]# sed -n ‘3,/^s/p‘ /etc/passwd

11.sed指定挑出文件特定的行,从第X行开始,每次只是递增几行

“~”波浪符号表示步进:1~2 奇数行 2~2 偶数行
说明:指定第1行,每次递增2行,所以显示结果是1,3,5,7等

示例:奇数行
[root@centos7 ~]# seq 10 | sed -n ‘1~2p‘
1
3
5
7
9
示例:偶数行
[root@centos7 ~]# seq 10 | sed -n ‘2~2p‘
2
4
6
8
10
[root@centos7 ~]#

12.sed的删除功能

“d”命令是删除的意思。

示例1:删除第2行  
[root@centos7 ~]# seq 6 | sed ‘2d‘
1
3
4
5
6
[root@centos7 ~]#
示例2:显示/etc/fstab文件中非#号开头的行
[root@centos7 ~]# sed ‘/^#/d‘ /etc/fstab 

UUID=a4f83d4b-f700-4b81-912f-b3d2bf1bc83b /  xfs defaults 0 0
UUID=864a865c-b2d2-427b-8370-42fcb8fb4c7e /boot xfs defaults 0 0
UUID=b734b94b-1f32-4eab-8a02-fe442bbee43e /data xfs defaults 0 0
UUID=80633a75-2496-4b44-8c4c-f196c74b1945 swap swap defaults 0 0
[root@centos7 ~]#

13.sed在指定行的后面追加内容

追加使用“a”,结合sed的正则表达式  

示例1:显示用户家目录的bashrc文件的“# User”后面追加一行“alias ls=hostname(设置别名)”

[root@centos7 ~]# sed ‘/# User/aalias ls=hostname‘ ~/.bashrc
# .bashrc

# User specific aliases and functions
alias ls=hostname

alias rm=‘rm -i‘
alias cp=‘cp -i‘
alias mv=‘mv -i‘

# Source global definitions
if [ -f /etc/bashrc ]; then
    . /etc/bashrc
fi
[root@centos7 ~]#

示例2:示例1只是显示,并没有修改文件。想修改添加“-i.bak”选项就行,既修改了文件,又提前把原文件备份了一次。
注意如果是“-i”选项,会直接改文件,不会有备份,容易产生问题。
"-i"的后缀不一定是“bak”,可以自己添加,如“-i.backup”
sed -i.bak ‘/# User/aalias ls=hostname‘ ~/.bashrc

查看备份文件,因为bashrc是隐藏文件,所以它的备份文件也是隐藏文件
ls -a ~/

示例3:追加的内容要想有空格,需要加转义  

[root@centos7 ~]# seq 3 | sed ‘a\   xyz‘
1
   xyz
2
   xyz
3
   xyz
[root@centos7 ~]#

14.sed追加好几号

追加好几行需要回车,“\n”在正则表达式表示回车

[root@centos7 ~]# seq 3 | sed ‘a\   xyz\n     ABC\nlalala‘
1
   xyz
     ABC
lalala
2
   xyz
     ABC
lalala
3
   xyz
     ABC
lalala
[root@centos7 ~]#

15.sed特殊的地方,追加变量需要用三个单引号

因为sed使用的是单引号,单引号的作用是“六亲不认”,即单引号里面的变量是字符,而不是变量。

示例:添加变量$USER即用户  
[root@centos7 ~]# seq 3 | sed ‘a‘‘‘$USER‘‘‘‘
1
root
2
root
3
root
[root@centos7 ~]#

16.sed指定在行的前面插入行

在行的前面插入行使用“i”。示例:在行的前面插入行
[root@centos7 ~]# seq 3 | sed ‘ixyz‘
xyz
1
xyz
2
xyz
3
[root@centos7 ~]#

17.sed指定行的替换

替换使用“c”

[root@centos7 ~]# seq 3 | sed ‘cxyz‘
xyz
xyz
xyz
[root@centos7 ~]#

18.sed指定满足条件的行保存到一个文件,相当于重定向

保存到一个文件用“w”

示例1:把第3行到第6行放到seq.txt文件里
[root@centos7 ~]# seq 7
1
2
3
4
5
6
7
[root@centos7 ~]# seq 7 |sed ‘3,6w /data/seq1.txt‘
1
2
3
4
5
6
7
[root@centos7 ~]# cat /data/seq1.txt 
3
4
5
6
[root@centos7 ~]#

示例2:使用重定向
[root@centos7 ~]# seq 7 |sed -n ‘3,6p‘ > /data/seq2.txt 
[root@centos7 ~]# cat /data/seq2.txt 
3
4
5
6
[root@centos7 ~]#

19.将文件的内容读入到每一行

将/data/du.txt文件的内容读入到每一行
[root@centos7 ~]# cat /data/du.txt 
a
b
c
[root@centos7 ~]# seq 3 | sed ‘r /data/du.txt‘
1
a
b
c
2
a
b
c
3
a
b
c
[root@centos7 ~]#

20.sed指定每一行的前面打印一个行号

指定/etc/fstab文件每一行前面打印行号
[root@centos7 ~]# cat /etc/fstab | sed ‘=‘
1

2
#
3
# /etc/fstab
4
# Created by anaconda on Wed Mar  6 18:47:21 2019
5
#
6
# Accessible filesystems, by reference, are maintained under ‘/dev/disk‘
7
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
8
#
9
UUID=a4f83d4b-f700-4b81-912f-b3d2bf1bc83b / xfs defaults 0 0
········

21.sed的查找替换(掌握)

示例:将abc替换为xyz
[root@centos7 ~]# echo abc | sed ‘s/abc/xyz/‘
xyz
[root@centos7 ~]#

22.sed查找替换的正则表达式的使用

示例1:把abc替换为a
思路:搜索部分“把a分组”,替换部分“使用后向引用”,因为正则表达式的“/”需要转移,所以使用扩展表达式,加“-r”
[root@centos7 ~]# echo abc | sed -r ‘s/(a).*/\1/‘
a
[root@centos7 ~]#

示例2:把abc替换为b
有三个分组,分组1(a),分组(b),分组(c)
[root@centos7 ~]# echo abc | sed -r ‘s/(a)(b)(c)/\2/‘
b
有两个分组,分组1即第一个括号里的内容(abc),分组2即(b)
[root@centos7 ~]# echo abc | sed -r ‘s/(a(b)c)/\2/‘
b
[root@centos7 ~]#

示例3
有两个分组,分组1即第一个括号里的内容(abc),分组2即(b)
[root@centos7 ~]# echo abc | sed -r ‘s/(a(b)c)/\1/‘
abc
[root@centos7 ~]#

23.指定文件某行添加内容

指定/etc/default/grub文件中GRUB_CMDLINE_LINUX行最后添加xyz

[root@centos7 ~]# sed -n ‘/CMD/p‘ /etc/default/grub 
GRUB_CMDLINE_LINUX="crashkernel=auto rhgb quiet net.ifnames=0"

分组1(.*),而"$表示0后面的双引号和看不见的换行符,下面的命令是把0和它后面的双引号替换为xyz和双引号。“\1”表示分区1的内容。
[root@centos7 ~]# sed -r ‘/CMD/s/(.*)"$/\1xyz"/‘ /etc/default/grub 
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed ‘s, release .*$,,g‘ /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto rhgb quiet net.ifnames=0xyz"
GRUB_DISABLE_RECOVERY="true"
[root@centos7 ~]#

上面的结果不用后向引用也行,如下:
[root@centos7 ~]# sed -r ‘/CMD/s/"$/xyz"/‘ /etc/default/grub 
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed ‘s, release .*$,,g‘ /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto rhgb quiet net.ifnames=0xyz"
GRUB_DISABLE_RECOVERY="true"
[root@centos7 ~]#

24.sed指定奇数、偶数名的使用

把目标文件的偶数名取出来,定义“/etc/sysconfig/”是奇数,“network-scripts”是偶数

".*"表示任意字符,“/”是斜线,所以显示为最后一个斜线,即全部目录"
[root@centos7 ~]# echo /etc/sysconfig/network-scripts/ | sed -r ‘#.*/#p‘
/etc/sysconfig/network-scripts/

"^/"表示不是斜线开头;“[^/]+”表示不是斜线开头的任意字符;“/?”表示斜线可有可无,“$”表示行尾。所以,下面显示的是偶数行
[root@centos7 ~]# echo /etc/sysconfig/network-scripts/ | sed -r ‘s#(.*/)([^/]+)/?$#\2#‘
network-scripts
[root@centos7 ~]#

25.sed指定获取IP地址

获取网络eth0的IP地址(掐头去尾法)

方法一:
第一个sed命令:把“.*inet空格”替换为空
[root@centos7 ~]# ifconfig eth0 | sed -rn ‘2s/.*inet //p‘
192.168.238.130  netmask 255.255.255.0  broadcast 192.168.238.255
第二个sed命令:匹配“空格.*”的内容替换为空
[root@centos7 ~]# ifconfig eth0 | sed -rn ‘2s/.*inet //p‘ | sed ‘s/ .*//‘
192.168.238.130
[root@centos7 ~]#

方法二:
“[^(0-9)]+”表示不是数字开头的行一个以上;“([0-9.]+)”表示“数字或点”一个以上
[root@centos7 ~]# ifconfig eth0 | sed -nr ‘2s/[^(0-9)]+([0-9.]+).*/\1/p‘
192.168.238.130
[root@centos7 ~]#

26.sed的多点编辑

多点编辑需要用“-e”。示例:还是获取eth0的IP地址
[root@centos7 ~]# ifconfig eth0 | sed -rn -e ‘/netmask/s/.*inet //‘ -e ‘s/ netmask.*//p‘
192.168.238.130 
[root@centos7 ~]#

27.sed指定搜索替换中“&”符号的使用

“&”符号在sed的搜索替换中代表前面搜索的内容。示例:搜索/etc/passwd文件中root替换为rooter
[root@centos7 ~]# sed -n ‘s/root/&er/p‘ /etc/passwd
rooter:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/rooter:/sbin/nologin
[root@centos7 ~]#

28.sed指定从文件中读取脚本

使用“-f”可以指定从文件中读取“地址命令”
[root@centos7 ~]# cat /data/sedf.txt 
s/root/&er/
[root@centos7 ~]# sed -f /data/sedf.txt /etc/passwd
rooter:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
·······
可以看到第一个单词的root替换成rooter,可后面的root单词没有替换,想要替换请看下面的示例29

29.sed指定行内全局替换

“g”在sed代表行内全局替换

[root@centos7 ~]# cat /data/sedf.txt 
s/root/&er/g

[root@centos7 ~]# sed -f /data/sedf.txt /etc/passwd
rooter:x:0:0:rooter:/rooter:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
······

30.使用sed搜索修改网卡名

使用sed在/boot/grub2/grub.cfg文件搜索“linux16”开头的行,在行尾添加“net.infnames=0”

sed -i.bak ‘/.*linux16/s#.*#a& net.infnames=0#‘ /boot/grub2/grub.cfg

Linux 篇 | 文本处理三剑客之SED

标签:time   ace   特殊   隐藏文件   Fix   而不是   rfs   ack   usb   

原文地址:https://blog.51cto.com/13465487/2376200

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!