标签:exec sandbox 这一 包括 ons 返回值 语句 addition eve
摘要: 本文大部分内容翻译自我开始学习AWK时看到的一篇英文文章 AWK Tutorial ,觉得对AWK入门非常有帮助,所以对其进行了粗略的翻译,并对其中部分内容进行了删减或者补充,希望能为对AWK感兴趣的小伙伴提供一份快速入门的教程,帮助小伙伴们快速掌握AWK的基本使用方式,当然,我也是刚开始学习AWK,本文在翻译或者补充的过程中肯定会有很多疏漏或者错误,希望大家能够帮忙指正。
本文大部分内容翻译自我开始学习AWK时看到的一篇英文文章 AWK Tutorial ,觉得对AWK入门非常有帮助,所以对其进行了粗略的翻译,并对其中部分内容进行了删减或者补充,希望能为对AWK感兴趣的小伙伴提供一份快速入门的教程,帮助小伙伴们快速掌握AWK的基本使用方式,当然,我也是刚开始学习AWK,本文在翻译或者补充的过程中肯定会有很多疏漏或者错误,希望大家能够帮忙指正。
本文将会持续修正和更新,最新内容请参考我的 GITHUB 上的 程序猿成长计划 项目,欢迎 Star。
AWK是一门解释型的编程语言。在文本处理领域它是非常强大的,它的名字来源于它的三位作者的姓氏:Alfred Aho, Peter Weinberger 和 Brian Kernighan。
GNU/Linux发布的AWK目前由自由软件基金会(FSF)进行开发和维护,通常也称它为 GNU AWK。
下面是几个AWK的变体:
使用AWK可以做很多任务,下面是其中一些
要成为AWK编程专家,你需要先知道它的内部实现机制,AWK遵循了非常简单的工作流 - 读取,执行和重复,下图描述了AWK的工作流。
Read
AWK从输入流(文件,管道或者标准输入)中读取一行,然后存储到内存中。
Execute
所有的AWK命令都依次在输入上执行。默认情况下,AWK会对每一行执行命令,我们可以通过提供模式限制这种行为。
Repeat
处理过程不断重复,直到到达文件结尾。
现在,让我们先学习一下AWK的程序结构。
BEGIN语句块的语法
BEGIN {awk-commands}
BEGIN语句块在程序开始的使用执行,它只执行一次,在这里可以初始化变量。BEGIN是AWK的关键字,因此它必须为大写,注意,这个语句块是可选的。
BODY语句块的语法
/pattern/ {awk-commands}
BODY语句块中的命令会对输入的每一行执行,我们也可以通过提供模式来控制这种行为。注意,BODY语句块没有关键字。
END语句块的语法
END {awk-commands}
END语句块在程序的最后执行,END是AWK的关键字,因此必须为大写,它也是可选的。
让我们创建一个包含序号,学生姓名,科目名称和得分的文件 marks.txt。
1) Amit Physics 80
2) Rahul Maths 90
3) Shyam Biology 87
4) Kedar English 85
5) Hari History 89
下面的例子中我们将会显示文件内容,并且添加每一列的标题
$ awk ‘BEGIN{printf "Sr No\tName\tSub\tMarks\n"} {print}‘ marks.txt
上述代码执行后,输出以下内容
Sr No Name Sub Marks
1) Amit Physics 80
2) Rahul Maths 90
3) Shyam Biology 87
4) Kedar English 85
5) Hari History 89
在程序的开始,AWK在BEGIN语句中打印出标题。然后再BODY语句中,它会读取文件的每一行然后执行AWK的print命令将每一行的内容打印到标准输出。这个过程会一直重复直到文件的结尾。
AWK的使用非常简单,我们可以直接在命令行中执行AWK的命令,也可以从包含AWK命令的文本文件中执行。
我们可以使用单引号在命令行中指定AWK命令
awk [options] file ...
比如我们有一个包含下面内容的文本文件 marks.txt:
1) Amit Physics 80
2) Rahul Maths 90
3) Shyam Biology 87
4) Kedar English 85
5) Hari History 89
我们可以使用下面的命令显示该文件的完整内容
$ awk ‘{print}‘ marks.txt
我们可以使用脚本文件提供AWK命令
awk [options] -f file ....
首先,创建一个包含下面内容的文本文件 command.awk
{print}
现在,我们可以让AWK执行该文件中的命令,这里我们实现了和上例同样的结果
$ awk -f command.awk marks.txt
AWK支持下列命令行标准选项
-v
变量赋值选项该选项将一个值赋予一个变量,它会在程序开始之前进行赋值,下面的例子描述了该选项的使用
$ awk -v name=Jerry ‘BEGIN{printf "Name = %s\n", name}‘
Name = Jerry
--dump-variables[=file]
选项该选项会输出排好序的全局变量列表和它们最终的值到文件中,默认的文件是 awkvars.out。
$ awk --dump-variables ‘‘
$ cat awkvars.out
ARGC: 1
ARGIND: 0
ARGV: array, 1 elements
BINMODE: 0
CONVFMT: "%.6g"
ERRNO: ""
FIELDWIDTHS: ""
FILENAME: ""
FNR: 0
FPAT: "[^[:space:]]+"
FS: " "
IGNORECASE: 0
LINT: 0
NF: 0
NR: 0
OFMT: "%.6g"
OFS: " "
ORS: "\n"
RLENGTH: 0
RS: "\n"
RSTART: 0
RT: ""
SUBSEP: "\034"
TEXTDOMAIN: "messages"
--help
选项打印帮助信息。
$ awk --help
Usage: awk [POSIX or GNU style options] -f progfile [--] file ...
Usage: awk [POSIX or GNU style options] [--] ‘program‘ file ...
POSIX options : GNU long options: (standard)
-f progfile --file=progfile
-F fs --field-separator=fs
-v var=val --assign=var=val
Short options : GNU long options: (extensions)
-b --characters-as-bytes
-c --traditional
-C --copyright
-d[file] --dump-variables[=file]
-e ‘program-text‘ --source=‘program-text‘
-E file --exec=file
-g --gen-pot
-h --help
-L [fatal] --lint[=fatal]
-n --non-decimal-data
-N --use-lc-numeric
-O --optimize
-p[file] --profile[=file]
-P --posix
-r --re-interval
-S --sandbox
-t --lint-old
-V --version
--lint[=fatal]
选项该选项允许检查程序的不兼容性或者模棱两可的代码,当提供参数 fatal的时候,它会对待Warning消息作为Error。
$ awk --lint ‘‘ /bin/ls
awk: cmd. line:1: warning: empty program text on command line
awk: cmd. line:1: warning: source file does not end in newline
awk: warning: no program text at all!
--posix
选项该选项开启严格的POSIX兼容。
--profile[=file]
选项该选项会输出一份格式化之后的程序到文件中,默认文件是 awkprof.out。
$ awk --profile ‘BEGIN{printf"---|Header|--\n"} {print}
END{printf"---|Footer|---\n"}‘ marks.txt > /dev/null
$ cat awkprof.out
# gawk 配置, 创建 Wed Oct 26 15:05:49 2016
# BEGIN 块
BEGIN {
printf "---|Header|--\n"
}
# 规则
{
print $0
}
# END 块
END {
printf "---|Footer|---\n"
}
--traditional
选项该选项会禁止所有的gawk规范的扩展。
--version
选项输出版本号
$ awk --version
GNU Awk 3.1.7
版权所有 ? 1989, 1991-2009 自由软件基金会(FSF)。
该程序为自由软件,你可以在自由软件基金会发布的 GNU 通用公共许可证(GPL)第
3版或以后版本下修改或重新发布。
该程序之所以被发布是因为希望他能对你有所用处,但我们不作任何担保。这包含
但不限于任何商业适售性以及针对特定目的的适用性的担保。详情参见 GNU 通用公
共许可证(GPL)。
你应该收到程序附带的一份 GNU 通用公共许可证(GPL)。如果没有收到,请参看 http://www.gnu.org/licenses/ 。
You have new mail in /var/spool/mail/root
本部分会讲述一些有用的AWK命令和它们的使用示例,所有的例子都是以下面的文本文件 marks.txt 为基础的
1) Amit Physics 80
2) Rahul Maths 90
3) Shyam Biology 87
4) Kedar English 85
5) Hari History 89
AWK可以只打印输入字段中的某些列。
$ awk ‘{print $3 "\t" $4}‘ marks.txt
Physics 80
Maths 90
Biology 87
English 85
History 89
在文件marks.txt中,第三列包含了科目名,第四列则是得分,上面的例子中,我们只打印出了这两列,$3 和 $4代表了输入记录中的第三和第四个字段。
默认情况下,AWK会打印出所有匹配模式的行
$ awk ‘/a/ {print $0}‘ marks.txt
2) Rahul Maths 90
3) Shyam Biology 87
4) Kedar English 85
5) Hari History 89
上述命令会判断每一行中是否包含a
,如果包含则打印该行,如果BODY部分缺失则默认会执行打印,因此,上述命令和下面这个是等价的
$ awk ‘/a/‘ marks.txt
当模式匹配成功时,默认情况下AWK会打印该行,但是也可以让它只打印指定的字段。例如,下面的例子中,只会打印出匹配模式的第三和第四个字段。
$ awk ‘/a/ {print $3 "\t" $4}‘ marks.txt
Maths 90
Biology 87
English 85
History 89
$ awk ‘/a/ {print $4 "\t" $3}‘ marks.txt
90 Maths
87 Biology
85 English
89 History
$ awk ‘/a/{++cnt} END {print "Count = ", cnt}‘ marks.txt
Count = 4
$ awk ‘length($0) > 18‘ marks.txt
3) Shyam Biology 87
4) Kedar English 85
AWK提供了很多内置的变量,它们在开发AWK脚本的过程中起着非常重要的角色。
命令行中提供的参数个数
$ awk ‘BEGIN {print "Arguments =", ARGC}‘ One Two Three Four
Arguments = 5
存储命令行参数的数组,索引范围从0 - ARGC - 1。
$ awk ‘BEGIN {
for (i = 0; i < ARGC - 1; ++i) {
printf "ARGV[%d] = %s\n", i, ARGV[i]
}
}‘ one two three four
ARGV[0] = awk
ARGV[1] = one
ARGV[2] = two