Linux文本处理命令

正则表达式

POSIX标准将正则表达式分为两类
1.基本的正则表达式
2.扩展的正则表达式
大部分Linux应用和工具仅支持基本的正则表达式

基本正则表达式

扩展正则表达式

通配符

bash Shell本身不支持正则表达式，使用正则表达式的是shell命令和工具，如grep，AWK，sed等。但是bash Shell可以使用正则表达式中的一些元字符实现通配。

Grep

全面搜索正则表达式并把行打印出来（Global search Regular Expression and Print out the line）
grep [选项][模式][文件…]

选项

模式

字符串、变量、正则表达式

注意：只要模式中包含空格，就需要使用双引号将模式引进来

实例

1. -w和-x选项
   grep命令模式支持正则表达式，正则表达式的元字符被解释成特殊含义；
   -w选项表示匹配整词，即以模式的字面含义去解释
   如：
   grep cer* *.pem
   grep -w cer* *.pem
   -x 是匹配整行
   -w 使用不方便,最好和 -F 一起使用

grep命令族

• grep
  标准grep命令，支持基本正则表达式
• egrep
  扩展grep命令，支持基本和扩展正则表达式
  等价于grep -E
• fgrep
  快速grep命令，不支持正则表达式，按照字面意思进行匹配
  等价于grep -F

sed

sed,stream editor,流编辑器,将一系列编辑命令作用于一批文本文件
适用场合：

• 编辑相对交互式编辑器而言太大的文件
• 编辑命令太复杂，在交互式文本编辑器中难以输入的情况
• 对文件扫描一遍，但是需要执行多个编辑函数的情况

三种调用方式

• sed [选项] ‘sed命令’ 输入文件
• sed [选项] -f sed脚本 输入文件
• ./sed脚本文件 输入文件

选项

sed命令

通常由定位文本行和sed编辑命令两部分组成，sed编辑命令对定位文本行进行各种处理

sed定位文本行

sed编辑命令

sed编辑命令标示对文本进行何种处理，如打印，删除，追加，插入，替换等

实例

• sed -n ‘1p’ file
• sed -e ‘/^f*/p’ -e ‘/^f*/=’ file
• 定位命令
  
  • 匹配元字符
    sed -n ‘/./p’ input
    sed -n ‘/$/p’ input
  • 使用元字符进行匹配
    sed -n ‘$p‘ input （注意：$在sed命令中表示最后一行）
    sed -n ‘/^$/p’ input （匹配空行）
    sed -n ‘/.*bus/p’ input
  • !符号
    sed -n ‘2,10!p’ input
  • 使用行号与关键字匹配限定行范围
    sed -n ‘/seugrid/,$p’ input
    sed -n ‘3,/seugrid/p’ input

• 编辑命令

  • 插入文本
    sed ‘指定地址i\text’ input （在指定位置之前插入）
    sed ‘指定地址a\text’ input （在指定位置之后插入）
    sed ‘/i/i\input\nsecond’ （插入两行input和second）
    sed ‘/i/a\input\nsecond’
  • 修改文本
    sed ‘指定地址c\text’ input （将整个匹配行修改为新文本行）
    sed ‘/Certificate/c\New line:’ input
  • 删除文本
    sed ‘指定位置d’ input （删除指定行）
  • 替换文本
    sed ‘s/被替换字符串/新字符串/[替换选项]’
    sed ‘s/被替换字符串/新字符串/number[替换选项]’（表示第number（1~512）次匹配）

  选项	意义
  g	全部替换
  p	与-n选项结合，只打印替换行
  w 文件名	表示将输出定向到一个文件

  • 写入新文件
    sed ‘指定地址w file’ input
    sed ‘1,5w file’ input
    sed ‘/Certificate/w file’ input
  • 从文件读入文本
    sed ‘指定地址r file’ input
  • 退出命令
    sed ‘指定地址q’ input
  • 变换命令
    sed ‘y/被替换字符序列/变换的字符序列/’ 输入文件
    两个序列长度必须一样
    sed ‘y/fmg/FMG/’ input
  • 显示控制字符
    显示退格符，F1键，shift键等
    sed -n l input
    sed -n ‘指定位置l’ input
  • 在定位行执行命令组
    sed -n -e ‘/Certificate/p’ -e ‘/Certificate/=’ input
    sed -n ‘/Certificate/{p;=}’ input
• 高级编辑命令
  
  • 处理匹配行的下一行
    sed ‘/Certificate/{n;s/11/99/;}’ input
  • sed缓冲区的处理
    sed ‘/Subject/h;/seugrid/x;$G’ input
    1.匹配Subject，并将匹配行写入保持缓冲区
    2.匹配seugrid,将保持缓冲区和模式缓冲区交换
    3.到结尾行，将保持缓冲区追加到模式缓冲区
  • 利用分号分隔多个编辑命令
    上例已经使用了这种表示

AWK

awk的基本语法与C语言类似，与sed的功能类似，用来处理文本，awk可以从文件或字符串中基于指定规则浏览和抽取信息，在抽取信息的基础上，才能进行其他文本操作
最新的awk是gawk,可以实现数据查找，抽取文件中数据，创建管道流命令

AWK编程模型

awk程序由一个主输入循环维持，主输入循环自动依次读取文件行，用程序员定义的处理文件行的动作处理，循环执行直到终止条件。
与C，C++，Java的不同是，程序员不需要关注打开文件，读取文件行，关闭文件的动作，而只关注处理行的执行动作。

AWK调用

• Shell中调用
  awk [-F 域分隔符] ‘awk程序段’ 输入文件
• 将awk程序段插入脚本文件
  awk -f awk脚本文件 输入文件
• 将脚本文件设置为可执行
  ./awk脚本文件 输入文件

AWK编程

AWK模式匹配

awk由模式和动作组成。模式是一组用于测试输入行是否需要执行语句，动作则是包含语句，函数和表达式的执行过程。即模式决定动作何时触发事件，动作执行对输入行处理
如：awk ‘/^$/{print “this is a blank line.”}’ input

记录和域

awk认为文件是有结构的，每一行为一个记录，记录由域组成，域之间使用空格,Tab或其他符号进行分隔。
域操作符$:指定执行动作的域，$1…标识每一个域，$0表示整个记录；也可以跟变量或变量表达式
如：awk ‘BEGIN{one=1;two=2} {print $(one+two)}’ input
默认是空格，Tab键被认为是多个空格（也多个空格被当成一个空格）
1.可以使用-F 来改变默认的分隔符
2.可以使用环境变量FS设置分隔符
实例：
1.FS=”\t”
2.FS=”\t+”
记录：waz\t\tcq
对于FS=”\t” 分成三个域，waz,空域，cq;对于FS=”\t+”,结果是waz，cq

关系和布尔运算符

实例：测试~运算符

• awk ‘BEGIN{FS=”:”} $1~/root/’ input
• awk 条件语句
  与C类似，有if,if/else,if/else if/else
  awk ‘BEGIM{FS=”:”}{if($1~/root/)print$0}’ passwd

表达式

支持加(+)，减（-），乘（*），除（/），模（%），乘方（^或**），自增（++x,x++）
一个表达式可由数值，字符常量，变量，操作符，函数和正则表达式

实例

1.统计空白行数
awk ‘/^$/{x+=1}END{print x}’ input
2.计算平均成绩
awk ‘BEGIN{FS=”,”}{total=$4+$5+$6+$7;avg=total/4;print $1,avg}’ input

系统变量

格式化输出

awk的一大功能是产生报表，报表就需要按照预定的格式化输出
printf(格式控制符，参数)

内置字符串函数

实例

• awk ‘BEGIN{FS=”:”;OFS=”:”} gsub(/root/,”gridsphere”,$1)’ input
• awk ‘BEGIN{FS=”:”;OFS=”:”} gsub(/root/,”gridsphere”){print $0}’ input
• awk ‘BEGIN{print index(“gridsphere”,”ph”)}’
• awk ‘BEGIN{print length(“gridsphere”)}’
• awk ‘BEGIN{print match(“hello”,/h.*/)}’

向awk脚本传递参数

awk脚本内的变量可以在命令行中进行赋值，实现awk脚本传递参数，变量赋值放在脚本之后、输入文件之前，如
awk脚本 parameter=value 输入文件
awk传递的参数可以是自定义的，也可以是系统变量

条件语句和循环语句

if() 动作1 [else 动作2]
while() 动作
do 动作 while()
for()动作

数组

array[index]=value
1.关联数组
关联数组是指数组的索引可以是字符串，也可以是数字
关联数组的值无须以连续的地址进行存储。
awk的所有数组都是关联数组。使用的数字索引并不代表数组存储地址信息
访问数组：
for(variable in array) do something with array[variable]
判断数组中是否存在某元素
if(index in array) do
2.split函数
split(r,s,t):以t为分隔符，将r字符串拆分为字符串数组，并存放在s中
awk ‘BEGIN{print split(“abc/def/ghi”,str,”/”);for(i in str) print str[i]}’

文本处理命令

文本处理命令包含对文件记录的排序、文件的合并和分隔等。具体命令：sort，uniq,join,cut,paste,split,tr,tar。这些命令实现了对文件记录排序，统计，合并，提取，粘贴，分隔，过滤，压缩和解压等功能。与sed,awk构成了Linux文本处理的所有命令和工具

sort

rt：对文件进行排序。将输入文件看做由多条记录组成的数据流，而记录由可变宽度的字段组成。，以换行符作为定界符，sort命令与awk一样，可将记录分成多个域进行处理，默认的域分隔符是空格符

sort [选项] [输入文件]

• sort -t: input
• sort -t: -k3 input
• sort -t: -k3n input
  -n一般不单独使用，一般放在域号之后
• sort -t: -k3nr input
• sort -t: -u input
• sort -t: -k3n -o output input
• sort -t: -c input
• sort -t: -m input1 input2
  input1和input2必须有序

uniq

用于去除文本文件中的连续的重复行，类似sort -u

统计文件中的单词数
cat input | sed ‘s/./ /g;s/=/ /g;s/,/ /g;s/\// /g;s/ /\n/g;s/\t/\n/g’| sed ‘/^$/d’|sort| uniq -c | sort -nr

join

连接操作将两个文件中具有相同域的记录选择出来，再将这些记录所有的域放到一行（包含来自两个文件的所有域）
注意：文件必须有序

join [选项] file1 file2
有点像sql中的join

• join -t: teacher.db teacher_hobby.db
  默认第一个域比较，相等就连接。
• -a有点像左外连接，右外连接
  -a1 左连接 -a2右连接
• -o表示显示那些域（sql中的字段）
  表示方式为 -o1.n 2.n
• -i忽略大小写
• -t设置域分隔符
• -v取反，即不显示共同域
  用法与-a类似，-v1 -v2
• -1,-2表示用来连接的域

实例

对于多个域的连接，使用awk

awk ’
//（NR表示读取的记录数，FNR表示在当前文件中的记录数，只有第一个文件才能使得NR\==FNR）
NR==FNR
{
a[$1 FS $2]=$0;
//相当于break，本行处理结束，处理下一行
next;
}
//最终执行到这里时，a中存储的是文件1中的记录
//当文件2的$1 FS $2在a中说明两个文件这两行一样
$1 FS$2 in a
{
//将指定列相等的记录存储在b中
b[FNR]=a[$1 FS $2] FS $3
}
END
{
//打印
//awk中的数组是关联数组
for(i=1;i<=FNR;i++)
if(i in b)
print b[i]
}’
test1 test2

cut

cut命令用于从标准输入或文本文件中按域或按行提取文本

• -c按字符提取文本
  cut -c2 input
  cut -c1,5 input（提取第1个和第5个字符）
  cut -c1-5 input（提取1~5这五个字符）
• -f按域提取文本
• -d类似sort和join中的-t

paste

用于将文本文件或标准输出中的内容粘贴到新的文件，它可以将来自不同文件的数据粘贴到一起，形成新的文件。如果两个文件的行数不同，少的那个为空

paste [选项] 文件1 文件2…

split

用于将大文件切割成小文件，split命令可以按照文件的行数，字节数切割文件，并能在输出的多个文件中自动加上编号

split [选项] 待切割的大文件 输出的小文件

• split -2 input input(默认是x)
• split -b100 input input
• split -C100 input input

tr

现字符转换功能，tr能完成的sed都能完成，但是tr简单

tr [选项] 字符串1 字符串2 < 输入文件

tar

归档命令，实现了打包和解压文件

tar [选项] 文件名或目录名

gzip 压缩文件

Linux文本处理总结