码迷,mamicode.com
首页 > 其他好文 > 详细

sed与awk命令小结

时间:2015-09-24 19:35:35      阅读:368      评论:0      收藏:0      [点我收藏+]

标签:sed awk

1.sed命令小结

Sed是一个非交互式文本编辑器,它可对文本文件和标准输入进行编辑,标准输入可以是来自键盘输入、文件重定向、字符串、变量,甚至来自管道的文本。Sed从文本的一个文本行或标准输入中读取数据,将其复制到缓冲区,然后读取命令行或脚本的第一个命令,对此命令要求的行号进行编辑,重复此过程,直到命令行或脚本中的所有命令都执行完毕。相对于vi等其他文本编辑器,sed可以一次性处理所有的编辑任务,显得非常高效,为用户节省了大量的时间。

  1. 1. 语法sed [OPTION]... {script} [input-file]...

工作机制:每次读取一行文本至“模式空间(pattern space)”中,在模式空间中完成处理;将处理结果输出至标准输出设备;

   -r支持扩展正则

   -n静默模式:不输出,只编辑

   -e script1 –e script2 –e script3多点编辑

   -f 从配置文件中读取脚本,然后按脚本执行

   -i 直接修改源文件;默认是不修改源文件的

 

地指定界:

  #:指定行

  $:最后一行

  /regexp/:能够被regexp所匹配的行

  \%regexp%:同上

技术分享

  /regexp/|\%regexp%忽略字符大小写


开始行,结束行:

  #, /regexp/:从#开始,披到到/regexp/结束

  #,#1:#开始,#1结束

  /regexp1/,/regexp2/,从匹配1开始到匹配2结束

  #,+n:#开始,匹配之后的n行

  first~step:first开始,step步进

 

  1. 2.sed的编辑命令

(1)打印某行

sed -n ‘n‘p filename 单引号内的n是一个数字,表示第几行:

 

   

            #sed -n ‘2‘p/etc/passwd


技术分享

要想把所有行都打印出来可以使用 sed -n ‘1,$‘p filename

   

            #sed -n ‘1,$‘p /etc/passwd


技术分享

也可以指定一个区间:

   

            #sed -n ‘1,3‘p /etc/passwd


    技术分享

 

(2)打印包含某个字符串的行

   

            #sed -n ‘/root/‘p /etc/passwd


技术分享

grep中使用的特殊字符,如 ^ $ . * 等同样也能在sed中使用

   

            #sed -n ‘/^root/‘p/etc/passwd


技术分享

   

            #sed -n ‘/in$/‘p /etc/passwd


技术分享

 

(3)-e可以实现多个行为

   

            #sed -e ‘1‘p -e‘/^ftp/‘p -n /etc/passwd


技术分享

 

(4)删除某行或者多行

   

            #sed ‘1‘d /tmp/passwd


技术分享

   

            #sed ‘1,3‘d /tmp/passwd


技术分享

   

            #sed ‘/adm/‘d /tmp/passwd


技术分享

‘d’ 这个字符就是删除的动作了,不仅可以删除指定的单行以及多行,而且还可以删除匹配某个字符的行,另外还可以删除从某一行一直到文档末行。

 

(5)替换字符或字符串

     

            #sed ‘1,2s/ot/to/g‘/tmp/passwd


技术分享

上例中的 ‘s’ 就是替换的命令, ‘g’ 为本行中全局替换,如果不加 ‘g’ 只换该行中出现的第一个。除了可以使用‘/’ 作为分隔符外,还可以使用其他特殊字符例如 ‘#’ 或者‘@’ 都没有问题。

 

(6)调换两个字符串的位置

   

            #sed ‘s/\(root\)\(.*\)\(bash\)/\3\2\1/‘/tmp/passwd


技术分享

这个就需要解释一下了,上例中用 () 把所想要替换的字符括起来成为一个整体,因为括号在sed中属于特殊符号,所以需要在前面加脱意字符 ‘’, 替换时则写成 ‘1’, ‘‘2’, ‘‘3’ 的形式。

 

(7)直接修改文件的内容

   

            #sed -i ‘s/ot/to/g‘ /tmp/passwd


技术分享

 

练习:

1、删除/boot/grub/grub.conf文件中所有行首的空白字符

            #sed‘s/^[[:space:]]\+//‘ /tmp/grub.conf


技术分享

 

2、删除/etc/fstab文件中所有#开头,后至少跟一个空白字符的行的行首的#和空白字符

            #sed‘s/^#[[:space:]]\+//‘ /etc/fstab


技术分享

 

3、把/etc/fstab文件的奇数行另存为/tmp/fstab.3

            #sed‘1~2w /tmp/fstab.3‘ /etc/fstab


技术分享

 

4、echo一个文件路径给sed命令,取出其基名,进一步取出其路径名

取基名:

            #echo "/etc/sysconfig/network-scripts/" | sed‘s@^.*/\([^/]\+\)/\?$@\1@‘


技术分享

取路径名:

            #echo "/etc/sysconfig/network-scripts/" | sed‘s@[^/]\+/\?$@@‘


技术分享

 

  1. 3.高级命令:

保持空间,hold space

保存模式空间中的内容

    h:用模式空间内容覆盖保持空间内容

    H:用模式空间内容追加保持空间内容

    g:从保持空间中取1行内容覆盖到模式空间

    G:从保持空间取呢容追加模式空间

    x:交换内容

    n:读取匹配行下一行,覆盖保持空间

    N:读取匹配行,追加保持空间

    d:删除模式空间的内容

    D:删除多行模式空间中的首行

注意:命令功能可使用!取反;分号可用于分隔脚本;

 

示例:

在文件中的每行后方添加空白行;

            #sed ‘G‘ /etc/issue

技术分享

保留最后一行;

            #sed ‘$!d‘ /etc/fstab

技术分享

保证指定的文件每一行后方有且只有一个空白行;

            #sed ‘/^$/d;G‘ /etc/issue

技术分享

保留奇数行;

            #sed ‘n;d‘ /etc/issue

技术分享

 

 

2.   awk编程小结

awk是由Aho, WeinbergerKernighan共同开发的编程语言。基本语法与C语言类似。

awk功能与sed相似,都是用来进行文本处理的,awk语言可以从文件或字符串中基于指定规则浏览和抽取信息,在抽取信息的基础上,才能进行其他文本操作。

awk是一种编程语言,awk实际是指向gawk的符号链接。

 

1、基本语法

awk [options] ‘program‘ file file ...

awk [options] ‘PATTERN{action}‘ file file...

-F CHAR:输入分隔符

 

2awk的输出:

print item1, item2,...

要点:

(1) 各项目之间使用逗号分隔,而输出时则使用输出分隔符分隔;

(2) 输出的各item可以字符串或数值、当前记录的字段、变量或awk的表达式;数值会被隐式转换为字符串后输出;

(3) print后面item如果省略,相当于print $0;输出空白,使用pirnt ""

 

3awk的变量

内置变量,自定义变量

3.1 内置变量

FSField Seperator, 输入时的字段分隔符

示例:

        #awk ‘BEGIN{FS=":"}{print $1,$7}‘ /etc/passwd

         技术分享

RSRecord Seperator, 输入行分隔符

OFS: Output Field Seperator, 输出时的字段分隔符;

ORS: Outpput Row Seperator, 输出时的行分隔符;

NFNumbers of Field,字段数

NRNumbers of Record, 行数;所有文件的一并计数;

FNR:行数;各文件分别计数;

ARGV:数组,保存命令本身这个字符,awk ‘{print $0}‘ 1.txt 2.txt,意味着ARGV[0]保存awk,

ARGC: 保存awk命令中参数的个数;

FILENAME awk正在处理的当前文件的名称;

 

3.2 可自定义变量

         -v var_name=VALUE

 

         变量名区分字符大小写;

 

         (1) 可以program中定义变量;

         (2) 可以命令行中通过-v选项自定义变量;

 

4awkprintf命令

命令的使用格式:printfformat, item1, item2,...

要点:

         (1) 要指定format

         (2) 不会自动换行;如需换行则需要给出\n

         (3) format用于为后面的每个item指定其输出格式;

         format格式的指示符都%开头,后跟一个字符:

                  %c: 显示字符的ASCII码;

                  %d, %i: 十进制整数;

                  %e, %E: 科学计数法显示数值;

                  %f: 显示浮点数;

                  %g, %G: 以科学计数法格式或浮点数格式显示数值;

                  %s: 显示字符串;

                  %u: 显示无符号整数;

                  %%: 显示%自身;

         修饰符:

                  #:显示宽度

                  -:左对齐

                  +:显示数值的符号

                  .#: 取值精度

 

5awk输出重定向

print items > output-file

print items >> output-file

print items | command

 

特殊文件描述符:

/dev/stdin: 标准输入

/dev/stdout: 标准输出

/dev/stderr: 错误输出

 

6awk的操作符

算术操作符:

         x+y

         x-y

         x*y

         x/y

         x**y, x^y

         x%y

         -x:负值

         +x:转换为数值

 

字符串操作符:连接

 

         赋值操作符:

                  =

                  +=

                  -=

                  *=

                  /=

                  %=

                  ^=

                  **=

                  ++

                  --

                  如果模式自身是=号,要写为/=/

 

         比较操作符:

                  <

                  <=

                  >

                  >=

                  ==

                  !=

                  ~:模式匹配,左边的字符串能够被右边的模式所匹配为真,否则为假;

                  !~: 与上面相反

 

         逻辑操作符:

                  &&

                  ||:或

 

         条件表达式:

         selector?if-true-expression:if-false-expression

 

示例:

         

        #awk -F: ‘{$3>=1000?utype="commonuser":utype="admin or system user";print$1,"is",utype}‘ /etc/passwd

         技术分享

 

         函数调用:

                  function_name(argu1,argu2)

 

7、模式

(1) Regexp: 格式为/PATTERN/

                  仅处理被/PATTERN/匹配到的行;

(2) Expression: 表达式,其结果为非0或非空字符串时满足条件;

                  仅处理满足条件的行;

(3) Ranges: 行范围,此前地址定界,

                  NR

                  仅处理范围内的行

(4) BEGIN/END: 特殊模式,仅在awk命令的program运行之前(BEGIN)或运行之后(END)执行一次;

(5) Empty:空模式,匹配任意行;

 

8、常用的action

(1) Expressions

(2) Control statements

(3) Compound statements

(4) input statements

(5) output statements

 

9、控制语句

9.1 if-else

         格式:if(condition) {then body} else {else body}

示例:

     

        #awk -F: ‘{if($3>=500) {print $1,"is a common user"} else {print $1, "isan admin or system user"}}‘ /etc/passwd

     技术分享

        #awk ‘{if (NF>=8){print}}‘ /etc/inittab

 技术分享


9.2 while

         格式:while(condition) {while body}

示例:

       

        #awk ‘{i=1; while(i<=NF){printf "%s ",$i;i+=2};print ""}‘ /etc/inittab

 技术分享

         

        #awk ‘{i=1; while(i<=NF){if (length($i)>=6) {print $i}; i++}}‘ /etc/inittab

 技术分享

    

         length()函数:取字符串的长度

 

9.3 do-while循环

         格式:do{do-while body} while (condition)

 

9.4 for循环

         格式:for(variable assignment; condition; iteration process) {for body}

示例:

         

        #awk ‘{for(i=1;i<=NF;i+=2){printf "%s ",$i};print ""}‘/etc/initta

技术分享

       

        #awk ‘{for(i=1;i<=NF;i++){if (length($i)>=6) print $i}}‘ /etc/inittab

技术分享

 

         for循环可用来遍历数组元素:

                  语法:for (i inarray) {for body}

 

9.5 case语句

         语法:switch(expression) {case VALUE or /RGEEXP/: statement1;... default: stementN}

 

9.6 循环控制

         break

         continue

 

9.7 next

         提前结束对本行的处理进而提前进入下一行的处理;

     

        #awk -F: ‘{if($3%2==0)next;print $1,$3}‘ /etc/passwd

技术分享

       

        #awk -F: ‘{if(NR%2==0) next;print NR,$1}‘ /etc/passwd

技术分享

 

10、数组

传统数组:Index编号从1开始;

关联数组:

         array[index-expression]

         index-expression: 可以使用任意字符串; 如果某数组元素事先不存在,那么在引用时,awk会自动创建此元素并将其初始化为空串;因此,要判断某数组是否存在某元素,必须使用“index in array”这种格式;

 

                  A[first]="helloawk"

                  printA[second]

 

         要遍历数组中的每一个元素,需要使用如下特殊结构:

                  for (var inarray) {for body}

                  var会遍历array的索引;

                  state[LISTEN]++

                  state[ESTABLISHED]++

 

示例:

               

        #netstat -tan| awk ‘/^tcp/{++state[$NF]}END{for (s in state) {print s,state[s]}}‘

技术分享

                          

删除数组元素:

         delete array[index]

 

11awk的内置函数

split(string,array[,fieldsep[,seps]])

         功能:将string表示的字符串以fieldsep为分隔符进行切片,并切片后的结果保存至array为名的数组中;数组下标从1开始;

                  root:x:0:0::/root:/bin/bash

                  user[1]="root", user[2]

         此函数有返回值,返回值为切片后的元素的个数

 

示例:

 

        #netstat -tn | awk‘/^tcp/{lens=split($5,client,":");ip[client[1]]++}END{for (i in ip)print i,ip[i]}‘

       技术分享

 

length(string)

         功能:返回给定字串的长度

 

substr(string,start[,length])

         功能:从string中取子串,从start为起始位置为取length长度的子串;

 

 


sed与awk命令小结

标签:sed awk

原文地址:http://2280627.blog.51cto.com/2270627/1697863

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!