shell awk实战

标签：日志   sort   news   capture   idc   uniq   分享   shell awk   处理   

一、文本处理

1、按行提取关键字频次（如取第5列）

awk ‘BEGIN{FS="|"} {a[$5]+=1;} END {for(i in a) print i ":" a[i];}‘ OPT.ForumLogicNewServer_action_20161107.log | sort -nrk 2 -t ‘:‘

2、日志用户每分钟访问量统计

这里我们统计日志中“getThreadList”接口的流量每分钟到达率。

 awk ‘BEGIN{FS="|"} $5=="getThreadList" {a[substr($1,0,16)]+=1;} END{for(i in a) print i "\t" a[i]}‘ OPT.ForumLogicNewServer_action_20161107.log | sort > getThreadList.txt  

3、找一个目录下所有的二进制文件

ls -lrt | awk ‘{print $9}‘ | xargs file | grep ELF | awk ‘{print $1}‘ | tr -d ‘:‘ 

4、 grep ‘2016-11-21 22:05‘ MTT.IDCenterServer_IDCenterServer_20161121.log | grep ‘UserInfo‘ | awk ‘BEGIN{FS="|"} {print $6}‘ | uniq | wc -l

shell awk实战

标签：日志   sort   news   capture   idc   uniq   分享   shell awk   处理   

原文地址：http://www.cnblogs.com/dunken/p/6367214.html