awk练习总结

标签：条件   mod   语法   默认   数字   level   href   包括   delete   

>>> >>>awk是个优秀文本处理工具，可以说是一门程序设计语言。下面是awk内置变量。

一、内置变量表

 注：FIELDWIDTHS目前不支持使用了，最新内置变量表：

              ARGC      number of command line arguments.

              ARGV      array of command line arguments, 0..ARGC-1.

              CONVFMT   format for internal conversion of numbers  to  string,
                        initially = "%.6g".

              ENVIRON   array  indexed  by environment variables.  An environ‐
                        ment string, var=value is  stored  as  ENVIRON[var]  =
                        value.

              FILENAME  name of the current input file.

              FNR       current record number in FILENAME.

              FS        splits records into fields as a regular expression.

              NF        number of fields in the current record.

              NR        current record number in the total input stream.

              OFMT      format for printing numbers; initially = "%.6g".

              OFS       inserted between fields on output, initially = " ".

              ORS       terminates each record on output, initially = "\n".

              RLENGTH   length  set by the last call to the built-in function,
                        match().

              RS        input record separator, initially = "\n".

              RSTART    index set by the last call to match().

              SUBSEP    used to build multiple array subscripts,  initially  =
                        "\034".        

2、实例

1、常用操作

[chengmo@localhost ~]$ awk ‘/^root/{print $0}‘ /etc/passwd 
root:x:0:0:root:/root:/bin/bash

/^root/ 为选择表达式，$0代表是逐行

2、设置字段分隔符号(FS使用方法）

[chengmo@localhost ~]$ awk ‘BEGIN{FS=":"}/^root/{print $1,$NF}‘ /etc/passwd
root /bin/bash

 

FS为字段分隔符，可以自己设置，默认是空格，因为passwd里面是”:”分隔，所以需要修改默认分隔符。NF是字段总数，$0代表当前行记录，$1-$n是当前行，各个字段对应值。

3、记录条数(NR,FNR使用方法)

[chengmo@localhost ~]$ awk ‘BEGIN{FS=":"}{print NR,$1,$NF}‘ /etc/passwd
1 root /bin/bash
2 bin /sbin/nologin
3 daemon /sbin/nologin
4 adm /sbin/nologin
5 lp /sbin/nologin
6 sync /bin/sync
7 shutdown /sbin/shutdown
……

NR得到当前记录所在行

4、设置输出字段分隔符（OFS使用方法)

[chengmo@localhost ~]$ awk ‘BEGIN{FS=":";OFS="^^"}/^root/{print FNR,$1,$NF}‘ /etc/passwd
1^^root^^/bin/bash

 

OFS设置默认字段分隔符

5、设置输出行记录分隔符(ORS使用方法）

 

[chengmo@localhost ~]$ awk ‘BEGIN{FS=":";ORS="^^"}{print FNR,$1,$NF}‘ /etc/passwd       
1 root /bin/bash^^2 bin /sbin/nologin^^3 daemon /sbin/nologin^^4 adm /sbin/nologin^^5 lp /sbin/nologin

 

从上面看，ORS默认是换行符，这里修改为：”^^”，所有行之间用”^^”分隔了。

6、输入参数获取(ARGC ,ARGV使用）

[chengmo@localhost ~]$ awk ‘BEGIN{FS=":";print "ARGC="ARGC;for(k in ARGV) {print k"="ARGV[k]; }}‘ /etc/passwd
ARGC=2
0=awk
1=/etc/passwd

 

ARGC得到所有输入参数个数，ARGV获得输入参数内容，是一个数组。

7、获得传入的文件名(FILENAME使用)

[chengmo@localhost ~]$ awk ‘BEGIN{FS=":";print FILENAME}{print FILENAME}‘ /etc/passwd

/etc/passwd

FILENAME,$0-$N,NF 不能使用在BEGIN中，BEGIN中不能获得任何与文件记录操作的变量。

8、获得linux环境变量（ENVIRON使用）

[chengmo@localhost ~]$ awk ‘BEGIN{print ENVIRON["PATH"];}‘ /etc/passwd    
/usr/lib/qt-3.3/bin:/usr/kerberos/bin:/usr/lib/ccache:/usr/lib/icecc/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/usr/java/jdk1.5.0_17/bin:/usr/java/jdk1.5.0_17/jre/bin:/usr/local/mysql/bin:/home/web97/bin

ENVIRON是子典型数组，可以通过对应键值获得它的值。

9、输出数据格式设置：(OFMT使用）

[chengmo@localhost ~]$ awk ‘BEGIN{OFMT="%.3f";print 2/3,123.11111111;}‘ /etc/passwd   
0.667 123.111

 

OFMT默认输出格式是：%.6g 保留六位小数，这里修改OFMT会修改默认数据输出格式。

10、按宽度指定分隔符（FIELDWIDTHS使用）

[chengmo@localhost ~]$ echo 20100117054932 | awk ‘BEGIN{FIELDWIDTHS="4 2 2 2 2 3"}{print $1"-"$2"-"$3,$4":"$5":"$6}‘
2010-01-17 05:49:32

 

FIELDWIDTHS其格式为空格分隔的一串数字，用以对记录进行域的分隔，FIELDWIDTHS="4 2 2 2 2 2"就表示$1宽度是4，$2是2，$3是2  .... 。这个时候会忽略：FS分隔符。

11、RSTART RLENGTH使用

[chengmo@localhost ~]$ awk ‘BEGIN{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }‘
11 11 4
[chengmo@localhost ~]$ awk ‘BEGIN{start=match("this is a test",/^[a-z]+$/); print start, RSTART, RLENGTH }‘
0 0 –1

RSTART 被匹配正则表达式首位置，RLENGTH 匹配字符长度，没有找到为-1.

>>> >>>这里提到awk，相信写shell的朋友都会接触到。AWK 是一种用于处理文本的编程语言工具。AWK 提供了极其强大的功能：

1. 可以进行正则表达式的匹配
2. 样式装入
3. 流控制
4. 数学运算符
5. 进程控制语句
6. 内置的变量和函数

可以把awk看作一门完全的程序设计语言，它处理文本的速度是快得惊人的。现在很多基于shell 日志分析工具都可以用它完成。设计简单，速度表现很好。 涉及到以上六个方面内容，我会在以后文章中加以介绍。 这次主要说下，怎么样把外部变量传入到awk执行语句中。

一、基础：

awk [ -F re] [parameter...] [‘pattern {action}‘ ] [-f progfile][in_file...]

awk一般语法如上面所说。

如：

[chengmo@localhost ~]$ echo ‘awk code‘ | awk ‘BEGIN{print "start\n============="}{print $0}END{print "=========\nend"}‘
start
=============
awk code
=========
end

 

在 awk中两个特别的表达式，BEGIN和END，这两者都可用于pattern中（参考前面的awk语法），提供BEGIN和END的作用是给程序赋予初始状态和在程序结束之后执行一些扫尾的工作。任何在BEGIN之后列出的操作（在{}内）将在awk开始扫描输入之前执行，而END之后列出的操作将在扫描完全部的输入之后执行。因此，通常使用BEGIN来显示变量和预置（初始化）变量，使用END来输出最终结果。

二、获得外部变量方法

1、获得普通外部变量

[chengmo@localhost ~]$ test=‘awk code‘                            
[chengmo@localhost ~]$ echo | awk  ‘{print test}‘ test="$test"
awk code
[chengmo@localhost ~]$ echo | awk  test="$test" ‘{print test}‘ 
awk: cmd. line:1: fatal: cannot open file `{print test}‘ for reading (No such file or directory)

格式如：awk ‘{action}’  变量名=变量值   ，这样传入变量，可以在action中获得值。 注意：变量名与值放到’{action}’后面。

[chengmo@localhost ~]$ echo | awk  ‘BEGIN{print test}‘ test="$test"         

这种变量在：BEGIN的action不能获得。

2.BEGIN程序块中变量

[chengmo@localhost ~]$ test=‘awk code‘                                 
[chengmo@localhost ~]$ echo | awk -v test="$test" ‘BEGIN{print test}‘
awk code
[chengmo@localhost ~]$ echo | awk -v test="$test" ‘{print test}‘     
awk code

格式如：awk –v 变量名=变量值 [–v 变量2=值2 …] ‘BEGIN{action}’  注意：用-v 传入变量可以在3中类型的action 中都可以获得到，但顺序在  action前面。

3.获得环境变量

[chengmo@localhost ~]$ awk  ‘BEGIN{for (i in ENVIRON) {print i"="ENVIRON[i];}}‘
AWKPATH=.:/usr/share/awk
SSH_ASKPASS=/usr/libexec/openssh/gnome-ssh-askpass
SELINUX_LEVEL_REQUESTED=
SELINUX_ROLE_REQUESTED=
LANG=en_US.UTF-8
.......

只需要调用：awk内置变量 ENVIRON,就可以直接获得环境变量。它是一个字典数组。环境变量名 就是它的键值。

>>> >>>awk作为文本处理优秀工具之一，它有独自丰富的运算符。下面我们一起归纳总结一下，所有运算符。 可以分为：算术运算符，赋值运算符，关系运算符，逻辑预算法，正则运算符。

一、运算符介绍

说明：awk运算符基本与c语言相同。表达式及功能基本相同

二、实例介绍

• awk赋值运算符

a+=5; 等价于：a=a+5; 其它同类

• awk逻辑运算符

[chengmo@localhost ~]$ awk ‘BEGIN{a=1;b=2;print (a>5 && b<=2),(a>5 || b<=2);}‘
0 1

• awk正则运算符

[chengmo@localhost ~]$ awk ‘BEGIN{a="100testa";if(a ~ /^100*/){print "ok";}}‘
ok

• awk关系运算符

如：> < 可以作为字符串比较，也可以用作数值比较，关键看操作数如果是字符串 就会转换为字符串比较。两个都为数字 才转为数值比较。字符串比较：按照ascii码顺序比较。

[chengmo@localhost ~]$ awk ‘BEGIN{a="11";if(a >= 9){print "ok";}}‘

 

[chengmo@localhost ~]$ awk ‘BEGIN{a=11;if(a >= 9){print "ok";}}‘  
ok

• awk算术运算符

说明，所有用作算术运算符 进行操作，操作数自动转为数值，所有非数值都变为0。

[chengmo@localhost ~]$ awk ‘BEGIN{a="b";print a++,++a;}‘ 
0 2

• 其它运算符

?:运算符

[chengmo@localhost ~]$ awk ‘BEGIN{a="b";print a=="b"?"ok":"err";}‘
ok

in运算符

[chengmo@localhost ~]$ awk ‘BEGIN{a="b";arr[0]="b";arr[1]="c";print (a in arr);}‘
0

[chengmo@localhost ~]$ awk ‘BEGIN{a="b";arr[0]="b";arr["b"]="c";print (a in arr);}‘
1

in运算符，判断数组中是否存在该键值。

>>> >>>awk中数据类型，是不需要定义，自适应的。 有时候需要强制转换。我们可以通过下面操作完成。

一、awk字符串转数字

[chengmo@centos5 ~]$ awk ‘BEGIN{a="100";b="10test10";print (a+b+0);}‘ 
110

只需要将变量通过”+”连接运算。自动强制将字符串转为整型。非数字变成0，发现第一个非数字字符，后面自动忽略。

二、awk数字转为字符串

[chengmo@centos5 ~]$ awk ‘BEGIN{a=100;b=100;c=(a""b);print c}‘      
100100

只需要将变量与””符号连接起来运算即可。

三、awk字符串连接操作

[chengmo@centos5 ~]$ awk ‘BEGIN{a="a";b="b";c=(a""b);print c}‘      
ab

[chengmo@centos5 ~]$ awk ‘BEGIN{a="a";b="b";c=(a+b);print c}‘  
0

字符串连接操作通”二“，”+”号操作符。模式强制将左右2边的值转为 数字类型。然后进行操作。

>>> >>>用awk进行文本处理，少不了就是它的数组处理。那么awk数组有那些特点，一般常见运算又会怎么样呢。我们先看下下面的一些介绍，结合例子我们会讲解下它的不同之处。在 awk 中数组叫做关联数组(associative arrays)，因为下标记可以是数也可以是串。awk 中的数组不必提前声明，也不必声明大小。数组元素用 0 或空串来初始化，这根据上下文而定。例如：

一、定义方法

1：可以用数值作数组索引(下标)

Tarray[1]=“cheng mo”
Tarray[2]=“800927”

2：可以用字符串作数组索引(下标)

Tarray[“first”]=“cheng ”
Tarray[“last”]=”mo”
Tarray[“birth”]=”800927”

使用中 print Tarray[1] 将得到”cheng mo” 而 print Tarray[2] 和 print[“birth”] 都将得到 ”800927” 。

二、数组相关函数

[chengmo@localhost ~]$ awk --version
GNU Awk 3.1.5

使用版本是：3.1以上，不同版本下面函数不一定相同

• 得到数组长度（length方法使用）

[chengmo@localhost ~]$ awk ‘BEGIN{info="it is a test";lens=split(info,tA," ");print length(tA),lens;}‘
4 4

length返回字符串以及数组长度，split进行分割字符串为数组，也会返回分割得到数组长度。

 

(asort使用）:

[chengmo@localhost ~]$ awk ‘BEGIN{info="it is a test";split(info,tA," ");print asort(tA);}‘
4

asort对数组进行排序，返回数组长度。

• 输出数组内容(无序，有序输出）：

[chengmo@localhost ~]$ awk ‘BEGIN{info="it is a test";split(info,tA," ");for(k in tA){print k,tA[k];}}‘
4 test
1 it
2 is
3 a

 

for…in 输出，因为数组是关联数组，默认是无序的。所以通过for…in 得到是无序的数组。如果需要得到有序数组，需要通过下标获得。

 

[chengmo@localhost ~]$ awk ‘BEGIN{info="it is a test";tlen=split(info,tA," ");for(k=1;k<=tlen;k++){print k,tA[k];}}‘ 
1 it
2 is
3 a
4 test

注意：数组下标是从1开始，与c数组不一样。

 

• 判断键值存在以及删除键值：

一个错误的判断方法：

[chengmo@localhost ~]$ awk ‘BEGIN{tB["a"]="a1";tB["b"]="b1";if(tB["c"]!="1"){print "no found";};for(k in tB){print k,tB[k];}}‘ 
no found
a a1
b b1
c

 

以上出现奇怪问题，tB[“c”]没有定义，但是循环时候，发现已经存在该键值，它的值为空，这里需要注意，awk数组是关联数组，只要通过数组引用它的key，就会自动创建改序列.

 

正确判断方法：

[chengmo@localhost ~]$ awk ‘BEGIN{tB["a"]="a1";tB["b"]="b1";if( "c" in tB){print "ok";};for(k in tB){print k,tB[k];}}‘  
a a1
b b1

if(key in array) 通过这种方法判断数组中是否包含”key”键值。

 

删除键值：

[chengmo@localhost ~]$ awk ‘BEGIN{tB["a"]="a1";tB["b"]="b1";delete tB["a"];for(k in tB){print k,tB[k];}}‘                     
b b1

 

delete array[key]可以删除，对应数组key的，序列值。

三、二维数组使用(多维数组使用）

awk的多维数组在本质上是一维数组，更确切一点，awk在存储上并不支持多维数组。awk提供了逻辑上模拟二维数组的访问方式。例 如，array[2,4] = 1这样的访问是允许的。awk使用一个特殊的字符串SUBSEP (\034)作为分割字段，在上面的例子中，关联数组array存储的键值实际上是2\0344。

类似一维数组的成员测试，多维数组可以使用 if ( (i,j) in array)这样的语法，但是下标必须放置在圆括号中。
类似一维数组的循环访问，多维数组使用 for ( item in array )这样的语法遍历数组。与一维数组不同的是，多维数组必须使用split()函数来访问单独的下标分量。split ( item, subscr, SUBSEP)

[chengmo@localhost ~]$ awk ‘BEGIN{

for(i=1;i<=9;i++)
{
  for(j=1;j<=9;j++)  
  {
tarr[i,j]=i*j;
print i,"*",j,"=",tarr[i,j];
  }
}
}‘
1 * 1 = 1
1 * 2 = 2
1 * 3 = 3
1 * 4 = 4
1 * 5 = 5
1 * 6 = 6

……

可以通过array[k,k2]引用获得数组内容.

方法二：

[chengmo@localhost ~]$ awk ‘BEGIN{
for(i=1;i<=9;i++)
{
  for(j=1;j<=9;j++)  
  {
tarr[i,j]=i*j;
  }
}
for(m in tarr)              
{

split(m,tarr2,SUBSEP);
print tarr2[1],"*",tarr2[2],"=",tarr[m];
}
}‘

>>> >>>在linux awk的 while、do-while和for语句中允许使用break,continue语句来控制流程走向，也允许使用exit这样的语句来退出。break中断当前正在执行的循环并跳到循环外执行下一条语句。if 是流程选择用法。 awk中，流程控制语句，语法结构，与c语言类型。下面是各个语句用法。

一.条件判断语句(if)

if(表达式) #if ( Variable in Array )
语句1
else
语句2

格式中"语句1"可以是多个语句，如果你为了方便Unix awk判断也方便你自已阅读，你最好将多个语句用{}括起来。Unix awk分枝结构允许嵌套，其格式为：

if(表达式)

{语句1}

else if(表达式)
{语句2}
else
{语句3}

[chengmo@localhost nginx]# awk ‘BEGIN{ 
test=100;
if(test>90)
{
    print "very good";
}
else if(test>60)
{
    print "good";
}
else
{
    print "no pass";
}
}‘

very good

每条命令语句后面可以用“；”号结尾。

二.循环语句(while,for,do)

1.while语句

格式：

while(表达式)

{语句}

例子：

[chengmo@localhost nginx]# awk ‘BEGIN{ 
test=100;
total=0;
while(i<=test)
{
    total+=i;
    i++;
}
print total;
}‘
5050

2.for 循环

for循环有两种格式：

格式1：

for(变量 in 数组)

{语句}

例子：

[chengmo@localhost nginx]# awk ‘BEGIN{ 
for(k in ENVIRON)
{
    print k"="ENVIRON[k];
}
}‘

AWKPATH=.:/usr/share/awk
OLDPWD=/home/web97
SSH_ASKPASS=/usr/libexec/openssh/gnome-ssh-askpass
SELINUX_LEVEL_REQUESTED=
SELINUX_ROLE_REQUESTED=
LANG=zh_CN.GB2312

。。。。。。

说明：ENVIRON 是awk常量，是子典型数组。

格式2：

for(变量;条件;表达式)

{语句}

例子：

[chengmo@localhost nginx]# awk ‘BEGIN{ 
total=0;
for(i=0;i<=100;i++)
{
    total+=i;
}
print total;
}‘

5050

3.do循环

格式：

do

{语句}while(条件)

例子：

[chengmo@localhost nginx]# awk ‘BEGIN{ 
total=0;
i=0;
do
{
    total+=i;
    i++;
}while(i<=100)
print total;
}‘
5050

>>> >>>

前言：使用awk作为文本处理工具，正则表达式是少不了的。 要掌握这个工具的正则表达式使用。其实，我们不必单独去学习它的正则表达式。正则表达式就像一门程序语言，有自己语法规则已经表示意思。 对于不同工具，其实大部分表示意思相同的。在linux众多文本处理工具（awk,sed,grep,perl)里面用到正则表达式。其实就只有3种类型。详细可以参考：linux shell 正则表达式(BREs,EREs,PREs)差异比较 。只要是某些工具是属于某种类型的正则表达式。那么它的语法规则基本一样。 通过那篇文章，我们知道awk的正则表达式，是属于：扩展的正则表达式（Extended Regular Expression 又叫 Extended RegEx 简称 EREs）。

一、awk Extended Regular Expression (ERES)基础表达式符号介绍

与PERs相比，主要是一些结合类型表示符没有了：包括：”\d,\D,\s,\S,\t,\v,\n,\f,\r”其它功能基本一样的。 我们常见的软件：javascript,.net,java支持的正则表达式，基本上是：EPRs类型。

二、awk 常见调用正则表达式方法

• awk语句中：

awk ‘/REG/{action}’

/REG/为正则表达式，可以将$0中，满足条件记录 送入到：action进行处理.

• awk正则运算语句(~,~!等同!~)

[chengmo@centos5 ~]$ awk ‘BEGIN{info="this is a test";if( info ~ /test/){print "ok"}}‘
ok

• awk内置使用正则表达式函数

gsub( Ere, Repl, [ In ] )

sub( Ere, Repl, [ In ] )

match( String, Ere )

split( String, A, [Ere] )

详细函数使用，可以参照：

>>> >>>

这节详细介绍awk内置函数，主要分以下3种类似：算数函数、字符串函数、其它一般函数、时间函数

一、算术函数:

以下算术函数执行与 C 语言中名称相同的子例程相同的操作：

举例说明：

[chengmo@centos5 ~]$ awk ‘BEGIN{OFMT="%.3f";fs=sin(1);fe=exp(10);fl=log(10);fi=int(3.1415);print fs,fe,fl,fi;}‘
0.841 22026.466 2.303 3

 

OFMT 设置输出数据格式是保留3位小数

获得随机数：

[chengmo@centos5 ~]$ awk ‘BEGIN{srand();fr=int(100*rand());print fr;}‘
78
[chengmo@centos5 ~]$ awk ‘BEGIN{srand();fr=int(100*rand());print fr;}‘
31
[chengmo@centos5 ~]$ awk ‘BEGIN{srand();fr=int(100*rand());print fr;}‘

41

 

二、字符串函数是：

Ere都可以是正则表达式

gsub,sub使用

[chengmo@centos5 ~]$ awk ‘BEGIN{info="this is a test2010test!";gsub(/[0-9]+/,"!",info);print info}‘   
this is a test!test!

 

在 info中查找满足正则表达式，/[0-9]+/ 用””替换，并且替换后的值，赋值给info 未给info值，默认是$0

 

查找字符串（index使用）

[wangsl@centos5 ~]$ awk ‘BEGIN{info="this is a test2010test!";print index(info,"test")?"ok":"no found";}‘    
ok

未找到，返回0

 

正则表达式匹配查找(match使用）

[wangsl@centos5 ~]$ awk ‘BEGIN{info="this is a test2010test!";print match(info,/[0-9]+/)?"ok":"no found";}‘           
ok

 

截取字符串(substr使用）

[wangsl@centos5 ~]$ awk ‘BEGIN{info="this is a test2010test!";print substr(info,4,10);}‘                         
s is a tes

从第 4个 字符开始，截取10个长度字符串

 

字符串分割（split使用）

[chengmo@centos5 ~]$ awk ‘BEGIN{info="this is a test";split(info,tA," ");print length(tA);for(k in tA){print k,tA[k];}}‘
4
4 test
1 this
2 is
3 a

 

分割info,动态创建数组tA,这里比较有意思，awk for …in 循环，是一个无序的循环。 并不是从数组下标1…n ，因此使用时候需要注意。

 

格式化字符串输出（sprintf使用）

格式化字符串格式：

其中格式化字符串包括两部分内容: 一部分是正常字符, 这些字符将按原样输出; 另一部分是格式化规定字符, 以"%"开始, 后跟一个或几个规定字符,用来确定输出内容格式。

 

格式符	说明
%d	十进制有符号整数
%u	十进制无符号整数
%f	浮点数
%s	字符串
%c	单个字符
%p	指针的值
%e	指数形式的浮点数
%x	%X 无符号以十六进制表示的整数
%o	无符号以八进制表示的整数
%g	自动选择合适的表示法

[chengmo@centos5 ~]$ awk ‘BEGIN{n1=124.113;n2=-1.224;n3=1.2345; printf("%.2f,%.2u,%.2g,%X,%o\n",n1,n2,n3,n1,n1);}‘
124.11,18446744073709551615,1.2,7C,174

 

三、一般函数是：

打开外部文件（close用法）

[chengmo@centos5 ~]$ awk ‘BEGIN{while("cat /etc/passwd"|getline){print $0;};close("/etc/passwd");}‘
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

 

逐行读取外部文件(getline使用方法）

[chengmo@centos5 ~]$ awk ‘BEGIN{while(getline < "/etc/passwd"){print $0;};close("/etc/passwd");}‘
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

 

[chengmo@centos5 ~]$ awk ‘BEGIN{print "Enter your name:";getline name;print name;}‘
Enter your name:
chengmo
chengmo

  

调用外部应用程序(system使用方法）

[chengmo@centos5 ~]$ awk ‘BEGIN{b=system("ls -al");print b;}‘
total 42092
drwxr-xr-x 14 chengmo chengmo     4096 09-30 17:47 .
drwxr-xr-x 95 root   root       4096 10-08 14:01 ..

 

b返回值，是执行结果。

四、时间函数

创建指定时间(mktime使用）

[chengmo@centos5 ~]$ awk ‘BEGIN{tstamp=mktime("2001 01 01 12 12 12");print strftime("%c",tstamp);}‘
2001年01月01日 星期一 12时12分12秒

 

[chengmo@centos5 ~]$ awk ‘BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=mktime("2001 02 01 0 0 0");print tstamp2-tstamp1;}‘
2634468

求2个时间段中间时间差,介绍了strftime使用方法

 

[chengmo@centos5 ~]$ awk ‘BEGIN{tstamp1=mktime("2001 01 01 12 12 12");tstamp2=systime();print tstamp2-tstamp1;}‘ 
308201392

 

strftime日期和时间格式说明符

格式	描述
%a	星期几的缩写(Sun)
%A	星期几的完整写法(Sunday)
%b	月名的缩写(Oct)
%B	月名的完整写法(October)
%c	本地日期和时间
%d	十进制日期
%D	日期 08/20/99
%e	日期，如果只有一位会补上一个空格
%H	用十进制表示24小时格式的小时
%I	用十进制表示12小时格式的小时
%j	从1月1日起一年中的第几天
%m	十进制表示的月份
%M	十进制表示的分钟
%p	12小时表示法(AM/PM)
%S	十进制表示的秒
%U	十进制表示的一年中的第几个星期(星期天作为一个星期的开始)
%w	十进制表示的星期几(星期天是0)
%W	十进制表示的一年中的第几个星期(星期一作为一个星期的开始)
%x	重新设置本地日期(08/20/99)
%X	重新设置本地时间(12：00：00)
%y	两位数字表示的年(99)
%Y	当前月份
%Z	时区(PDT)
%%	百分号(%)

>>> >>>

我们经常会将2个有关联文本文件进行合并处理。分别从不同文件获取需要的列，然后，整体输出到一起。awk进行多文件处理时候，常常会遇到2个方面问题，第一个是怎么样合并多个文件为一个文件。第二个问题就是怎么样将多行合并为一行显示。我这里说下我的处理2种方法，还有实现思路。

实例文本：

1 2 3 4 5 6 7 8 9 10 11 12 13

[chengmo@centos5 shell]$ awk ‘FNR==1{print "\r\n"FILENAME}{print $0}‘ a.txt b.txt              a.txt 100     wang    man 200 wangsan woman 300 wangming man 400 wangzheng man   b.txt 100 90 80 200 80 70 300 60 50 400 70 20

 

需要合并得到结果：

100     wang    man 90  80
200 wangsan woman 80    70
300 wangming man 60     50
400 wangzheng man 70    20

 

 

• awk多文件操作方法一：

实现思路：

通过外部命令合并文件，然后通过排序，然后通过awk进行合并操作。

首先：

1 2 3 4 5 6 7 8 9

[chengmo@centos5 shell]$ cat a.txt b.txt | sort -n -k1 |awk ‘{print}‘ 100 90 80 100     wang    man 200 80 70 200 wangsan woman 300 60 50 300 wangming man 400 70 20 400 wangzheng man

现在需要把：第一列相同的处理合并到一行，这里需要用“next”语句。它操作，可以参考awk 多行合并【next 使用介绍】（常见应用4）

继续：

1 2 3 4 5

[chengmo@centos5 shell]$  cat a.txt b.txt | sort -n -k1 |awk  ‘NR%2==1{fd1=$2"\t"$3;next}{print $0"\t"fd1}‘     100     wang    man     90      80 200 wangsan woman       80      70 300 wangming man        60      50 400 wangzheng man       70      20

 

需要把几行合并，经常用到方法是：NR%num 然后将行值保存下来，next该行。在输出时候打印出来。

• awk多文件操作方法二

实现思路

不借助第3放工具打开，直接通过awk 打开多个文件。然后可以通过：FILENAME获得当前处理文件名。NR总记录 FNR当前文件记录,以及ARGC传入参数总数，ARGV是数组，各个参数值。

看下这些实例：

1 2 3 4 5 6 7 8 9 10

[chengmo@centos5 shell]$ awk ‘BEGIN{print ARGC,ARGV[0],ARGV[1],ARGV[2]}{print FILENAME,NR,FNR,$0}‘ a.txt b.txt                       3 awk a.txt b.txt a.txt 1 1 100   wang    man a.txt 2 2 200 wangsan woman a.txt 3 3 300 wangming man a.txt 4 4 400 wangzheng man b.txt 5 1 100 90 80 b.txt 6 2 200 80 70 b.txt 7 3 300 60 50 b.txt 8 4 400 70 20

程序代码：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

[chengmo@centos5 shell]$ awk ‘ BEGIN{ if(ARGC<3) {   exit 1; }   file=""; } { aData[FILENAME,$1]=ARGV[1]==FILENAME?$0:$2"\t"$3; } END{ for(k in aData) {     split(k,idx,SUBSEP);     if(idx[1]==ARGV[1] && (ARGV[2],idx[2]) in aData)     {         print aData[ARGV[1],idx[2]],aData[ARGV[2],idx[2]] | "sort -n -k1";     } } }‘ a.txt b.txt   100     wang    man 90  80 200 wangsan woman 80    70 300 wangming man 60     50 400 wangzheng man 70    20

代码说明：

这里用到2维数组，aData[文件名,关联列对应值] ,这种方法可以将多个文件内容。放入一个统一二维数组。然后循环数组，通过if((i,j} in array) 查找对应列值，在其它文件中是否存在。

以上是2种实现方法，其中第一种思路较为简单，很容易理解。第二种处理起来较为复杂。

awk练习总结

标签：条件   mod   语法   默认   数字   level   href   包括   delete   

原文地址：http://www.cnblogs.com/dahu-daqing/p/6634975.html