使用sed和awk进行文本处理

# sed ‘s/oracle/CHAVIN/‘ textfile

替换文本文件textfile中oracle为CHAVIN。脚本中的s表示替换字符的意思。

# sed -i ‘s/oracle/CHAVIN/‘ textfile

-i参数意味着替换结果直接覆盖了源文件。

# sed ‘s/mysql/MYSQL/g‘ textfile

# sed ‘s/mysql/MYSQL/2g‘ textfile

# sed ‘s/mysql/MYSQL/3g‘ textfile

默认情况sed会将每一行中第一处符合条件的字符替换掉，g代表替换当前行中匹配的所有的字符。如果想替换第n处，可以指定ng。

# sed ‘s:root:CHAVIN:‘ passwd

# sed ‘s|root|CHAVIN|‘ passwd

其中：、|和/一样都被用作界定符，效果相同。

# sed ‘/^$/d‘ textfile

# sed ‘/mysql/d‘ textfile

符号^$/d可以移除textfile中的空白行。

/mysql/d可以移除匹配包含字符mysql的行。

# sed ‘s/\b[0-9]\{3\}\b/NUMBERS/g‘ textrep

匹配正则 \b[0-9]\{3\}\b 的选项被替换。

# echo this is an example | sed ‘s/\w\+/[&]/g‘

其中&号代表匹配的字符串内容。正则\w\+匹配单词。

# echo this is eigit 7 in a number | sed ‘s/eigit \([0-9]\)/\1/‘

替换\([0-9]\)匹配的字符串，第一个匹配的使用\1表示，第二个使用\2表示，依次类推。

# echo hello world | sed "s/$name/HELLO/"

Sed可以使用双引号引用，使用双引号可以使用变量（$name）的形式，单引号引用的不可以。

# echo -e "line1 f2 f3\nline2 f4 f5\nline3 f6 f7" | awk ‘{print "Line no:"NR",No of fields:"NF",$0="$0",$1="$1",$2="$2",$3="$3,"$NF="$NF}‘

测试NR、NF、$0、$1、$n、$NF

# awk ‘{ print $3,$2 }‘ textfile

打印第2行、第3行数据

# seq 5 | awk ‘{sum=sum+$1}END{print sum}‘

计算累加

# seq 5 | awk ‘BEGIN{print "===================="} !/3/ { print $0 } END{print "===================="}‘

打印不包含3的行内容。

!/3/属于awk中字段过滤部分，常用的过滤方式如下：

NR<5：行号小于5的行

NR==1，NR==5：行号在1~5之间

/linux/：包含linux的行

!/linux/：比包含linux的行

# var=1000

# echo | awk -v VARIABLE=$var ‘{ print VARIABLE }‘

使用参数“-v”将外部变量传递给awk

# var1=1000

# var2=2000

# echo | awk ‘{print v1,v2}‘ v1=$var1 v2=$var2

将变量赋值放在awk语句块后边声明，可以同时传递多个值到awk中

# awk -F: ‘{ print $1,$2,$3,$4,$NF }‘ passwd

使用参数“-F”设定字段分隔符，默认字段分隔符是空格，这里指定为“：”。

# echo | awk ‘{ for(i=1;i<10;i++){ print i } }‘

在awk中使用for循环。

# echo | awk -F: ‘{ "grep root /etc/passwd" | getline output;print output }‘

使用输出结果读入变量方式为output赋值，语法为【“command” | getline output】。