Shell脚本（四）正则表达式 grep sed awk 工具

时间：2018-09-15 14:32:16 阅读：212 评论：0 收藏：0 [点我收藏+]

标签：shadow 第一个大小写换行空格 daemon silent systemctl new

正则表达式定义
正则表达式，又称正规表达式、常规表达式
是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串
·
正则表达式组成
普通字符
大小写字母、数字、标点符号及一些其他符号
元字符
在正则表达式中具有特殊意义的专用字符
·
基础正则表达式示例
查找特定字符
利用中括号[]来查找集合字符
查找行首^与行尾字符$
查找任意一个字符.与重复字符
查找连续字符范围{}
·
基础正则表达式的常见元字符
^、$、.、\、、[ ]、[^ ]、[n1-n2]、{n}、{n,}、{n,m}
·
####查找特定字符####
n--表示显示行号
i--表示不区分大小写
v--表示反向选择
·
grep -n ‘the‘ test.txt
grep -in ‘the‘ test.txt
grep -vn ‘the‘ test.txt
·
####利用中括号‘[]‘来查找集合字符
grep -n ‘sh[io]rt‘ test.txt ####找i或者是o的，只去其中一个
grep -n ‘oo‘ test.txt ####查找重复单个字符‘oo‘
grep -n ‘[^w]oo‘ test.txt ####查找‘oo‘前面不是‘w‘的字符串
grep -n ‘[^a-z]oo‘ test.txt ####查找oo前面不带小写字母的
grep -n ‘[0-9]‘ test.txt ####查找包含数字的
·
####查找‘^‘ 与行尾字符‘$‘
grep -n ‘^the‘ test.txt ####查找以the为行首的行
grep -n ‘^[a-z]‘ test.txt ####查找行首行以小写字母开头的
grep -n ‘^[^a-z]‘ test.txt ####查找行首行不以小写字母开头的
grep -n ‘^[A-Z]‘ test.txt ####查找首行以大写字母开头
grep -n ‘^[^a-zA-Z]‘ test.txt ####除了以大小写字符开头
grep -n ‘.$‘ test.txt ####这个点 . 因为是元字符，所以要转义\
grep -n ‘^$‘ test.txt ####查找空白行
grep -n ‘ooo‘ test.txt #### 是元字符，但是这边表示重复多个前面的字符。
grep -n ‘w.d‘ test.txt ####查询以W开头 d结尾，中间是任意字符
grep -n ‘[0-9][0-9]‘ test.txt ####2个中括号，代表2位数，后面的*达标任意字符
·
#####查找连续字符范围‘{}‘
grep -n ‘o{3}‘ test.txt ####查找连续3个o
grep -n ‘wo{2,5}d‘ test.txt ####查找以w开头d结尾中间2个到5个o
grep -n ‘wo{2,}d‘ test.txt ####查找以w开头d结尾中间2以上的o
·
#######sed工具########
是一个强大的而简单的文本解析转换工具，可以读取文本、并根据制定指定的条件对文本内容进行编辑。
默认情况下，所有的sed的命令都是在模式空间内执行，因此输入的文件并不会发生任何的变化，除非是用重定向存储输出。
·
sed [选项] ‘操作‘ 参数
常见选项
-e或者--expression= 表示用指定的命令或者脚本来处理输入的文件文件
-f或则--file= 表示用指定的脚本文件来处理输入的文本文件
-h或则--help 显示帮助
-n 、--quite或则silent 表示仅显示处理后的结果
-i 直接编辑文本文件
常见操作
a ####增加，在当前行下面增加一行指定的内容
c ####替换，将选定的行替换为指定内容
d ####删除，删除选定的行
i ####插入，在选定行上面插入一行指定的内容
p ####打印，如果同事指定行，表示打印指定行，如果不指定行，则表示打印所有内容
####如果有非打印字符的，则以ASCII码输出，通常与-n 选项一起使用
s ####替换，替换指定字符
y ####字符转换
·
1.用法示例
sed -n ‘p‘ test.txt ####输出所有的内容
sed -n ‘3p‘ test.txt ####输出第三行
sed -n ‘3,5p‘ test.txt ####输出第三行到第五行
sed -n ‘p;n‘ test.txt ####输出所有奇数行
sed -n ‘n;p‘ test.txt ####输出所有偶数行
sed -n ‘1,5{p;n}‘ test.txt ####输出1-5的所有奇数行
sed -n ‘10,${n;p}‘ test.txt ####输出第10行到末尾所有偶数行
sed -n ‘/the/p‘ test.txt ####输出包含the的行
sed -n ‘4,/the/p‘ test.txt ####输出从第4行至第一个包含the的行
sed -n ‘/the/=‘ test.txt ####输出包含the坐在行的行号
sed -n ‘/^PI/p‘ test.txt #####输出以PI开头的行
sed -n ‘/\<wood\>/p‘ test.txt #####输出包含单词wood的行，\<\>代表单词边界
nl test.txt | sed ‘3d‘ #####删除第3行，并不会改变原文件
nl test.txt | sed ‘3,5d‘ #####删除第3行到第5行
nl test.txt | sed ‘/cross/d‘ #####删除包含cross的行
nl test.txt | sed ‘/cross/!d‘ #####删除不包含cross的行,用！表示取反操作
sed ‘/^[a-z]/d‘ test.txt #####删除以小写字符开头的行
sed ‘/.$/d‘ test.txt #####删除某行以.结尾的行
sed ‘/^$/d‘ test.txt #####删除所有空行
·
2.替换符合条件的文本 ---需要用到s字符串替换、c(整行/整行替换)、y（字符转换）
sed ‘s/the/THE/‘ test.txt ####将每行中的第一行的the替换为THE
sed ‘s/l/L/2‘ test.txt ####将每行的第2个l（小写）替换成L（大写）
sed ‘s/the/THE/g‘ test.txt ####将文件中所有的the替换成THE
sed ‘s/o//g‘ test.txt ####将文件中所有的o删除（替换为空串）
sed ‘s/^/#/‘ test.txt ####每行的开头插入一个#
sed ‘/the/s/^/#/‘ test.txt ####在包含the的每行行首插入#
sed ‘s/$/EOF/‘ test.txt ####在每行的行尾插入字符串EOF
sed ‘3,5s/the/THE/g‘ test.txt ####将第3-第5行中的所有the替换成THE
sed ‘/the/s/o/O/g‘ test.txt ####将包含the的所有行中的小o替换成大O
·
3.迁移符合条件的文本 H--复制到剪切板 g G 将剪切板的数据覆盖/追加至指定的行， w保存为文件，r为读取指定文件 a追加指定内容
sed ‘/the/{H;d};$G‘ test.txt ####将包含the的行迁移至文件末尾，；用于多个操作
sed ‘1,5{H;d};17G‘ test.txt #####将第1到第5行的内容迁移到第17行后
sed ‘/the/w out.file‘ test.txt #####将包含the的另存为文件out.file
sed ‘/the/r /etc/hostname‘ test.txt #####将文件/etc/hostname的内容添加到包含the的内行以后
sed ‘3aNew‘ test.txt #####将在第3行后面插入一个新行，内容为New
sed ‘/the/aNew‘ test.txt ###在包含the的每行后面插入一个新行。内容为New
sed ‘3aNew1\nNew2‘ test.txt #####在第3行后面插入多行内容，中间的内容表示换行
sed -i ‘$a\abc123‘ file.txt #####在文件的最后插入abc123
·
4.使用脚本编辑文件
sed ‘1,5{H;d};17G‘ test.txt ###将第1行到第5行内用移至17，如果没有17行则插不进去
[root@localhost opt]# vi opt.list ###编辑脚本
1,5H
1,5d
17G
[root@localhost opt]# sed -f opt.list test.txt ######用脚本对test.txt进行编辑
·
5.sed直接操作文件示例
[root@localhost opt]# vi /opt/Local_only_ftp.sh ####开启FTP
#!/bin/bash
#指定样本文件路径、配置文件路径
SAMPLE="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_SITE/vsftpd.conf"
CONFIG="/etc/vsftpd/vsftpd.conf"
#备份原来的配置文件，检测文件名为/etc/vsftpd/vsftpd.conf.bak 备份文件是否存在,若不存
在则使用cp命令进行文件备份
[ ! -e "$CONFIG.bak" ] && cp $CONFIG $CONFIG.bak
#基于样本配置进行调整，覆盖现有文件
sed -e ‘/^anonymous_enable/s/YES/NO/g‘ $SAMPLE > $CONFIG
sed -i -e ‘/^local_enable/s/NO/YES/g‘ -e ‘/^write_enable/s/NO/YES/g‘ $CONFIG
grep "listen" $CONFIG || sed -i ‘$alisten=YES‘ $CONFIG 或者 sed -i ‘^listen/ssed -i ‘/^listen/s/NO/YES/g‘ /etc/vsftpd/vsftpd.conf
#启动vsftpd服务器，并设为开机自动运行
systemctl restart vsftpd
systemctl enable vsftpd
####同上####
#!/bin/bash
a="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INTERNET_SITE/vsftpd.conf"
b="/etc/vsftpd/vsftpd.conf"
[ ! -e "$b.bak" ] && cp $a $b.bak
sed -i ‘/^anonymous_enable/s/YES/NO/g‘ $b
sed -i ‘/^local_enable/s/NO/YES/g‘ $b
sed -i ‘/^write_enable/s/NO/YES/g‘ $b
sed -i ‘/^listen=/s/NO/YES/g‘ $b
systemctl restart vsftpd
systemctl enable vsftpd
·
##########AWK工具#########
1、AWK常见用法
awk 选项 ‘模式或条件{编辑指令}’ 文件1 文件2
awk -f 脚本文件文件1 文件2
·
sed命令常用于一整行的处理，而AWK比较倾向于一行分成多个“字段”然后进行处理。
通常可以使用逻辑符号操作，“&&”，表示“与” “||”表示“或”，“！”表示“非”，还可以进行简单的运算如
+- * / % ^ 分别表示加、减、乘、除、取余、乘方
·
[root@localhost opt]# awk -F ‘:‘ ‘{print $1,$3,$4}‘ /etc/passwd ###输出/etc/passwd 里面的账户、UID、GID
root 0 0
bin 1 1
daemon 2 2
adm 3 4
.....
·
AWK包含几个特殊的内建变量(可以直接用)
FS----指定每行文本的字段分隔符，默认我空格或则制表位
NF----当前处理的行的字段个数
NR----当前处理的行的行号(序数)
$0----当前处理的行的整行内容
$n----当前处理行的第n个字段(第n列)
FILENAME----被处理的文件名
RS----数据记录分割，默认\n，即每行为一条记录
·
####用法实列####
awk ‘{print}‘ test.txt ####输出所有内容
awk ‘NR==1,NR==3{print}‘ test.txt ####输出第1-3行内容
awk ‘(NR>=1)&&(NR<=3){print}‘ test.txt ####输出第1-3行内容
awk ‘NR==1||NR==3{print}‘ test.txt ####输出第1和第3行内容
awk ‘(NR%2)==1{print}‘ test.txt ####输出所有奇数行的内容
awk ‘(NR%2)==0{print}‘ test.txt ####输出所有偶数行的内容
awk ‘/^root/{print}‘ /etc/passwd ####输出以root开头的行
awk ‘/nologin$/{print}‘ /etc/passwd ####输出以nologin结尾的行
awk ‘BEGIN {x=0} ; /\/bin\/bash$/{x++};END {print x}‘ /etc/passwd #####统计以/bin/bash结尾的行数
awk ‘BEGIN {RS=""};END{print NR}‘ /etc/squid/squid.conf ####统计以空行分隔的段落数
awk ‘{print $3}‘ test.txt #####输出每行中的第三个字段
awk ‘{print $1,$3}‘ test.txt #####输出每行中的第1个和第3个字段
awk -F ":" ‘$2==""{print}‘ /etc/shadow ####输出密码为空的用户
awk -F ":" ‘($7!="/bin/bash")&&($7!="/sbin/nologin"){print}‘ /etc/passwd #####输出第7 个字段即不为/bin/bash 也不为/sbin/nologin的所有行

标签：shadow 第一个大小写换行空格 daemon silent systemctl new

原文地址：http://blog.51cto.com/13348945/2175542

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行

Shell脚本 （四）正则表达式 grep sed awk 工具

Shell脚本（四）正则表达式 grep sed awk 工具