Linux sort uniq awk head 完成访问日志统计排序功能

标签：sort   uniq   awk   访问日志统计排序   

我们开发时候经常会统计一些访问日志，访问日志中的url是海量的，并且好多是重复内容。以url为例，统计url中出现频率次数前5的url，并按出现次数的降序排序。

linux命令：cat url.log | sort | uniq -c |sort -n -r -k 1 -t   ‘ ‘ | awk -F  ‘//‘  ‘{print $2}‘

现在来一一分析这些命令组合的含义。

0）访问日志样例

1) cat  t1.log

2) cat  t1.log | sort | uniq -c

3) cat  t1.log | sort | uniq -c | sort -k 1 -n -r

4) cat  t1.log | sort  | uniq -c | sort -k 1 -n -r | awk -F ‘//‘  ‘{print  $2}‘

经过sort data | uniq -c | sort -k 1 -n -r 处理后的文本是 http://192.168.1.100 这样的格式，我们需要的结果是192.168.1.100这样的格式，需要去掉http://这些字段，采用awk才处理，awk -F ‘//‘ 是将http://192.168.1.100分组成2部分 http://  和 192.168.1.100，{print  $2}的作用是取数组的第二部分，即192.168.1.100

5) cat  t1.log | sort | uniq -c | sort -k 1 -n -r | awk -F ‘//‘  ‘{print  $2}‘| head -5

head 命令表示选取文本的前x行。通过head -5 就可以得到排序结果中前五行的内容。

6）上面http://192.168.1.100这样日志格式只是一个简单的示例，实际中的格式会比较复杂 如：/Get   http://192.168.1.100  /auth, 我们可以通过awk -F 或者cut  -k 命令来截取url。详情参考awk、cut 命令使用方法。

参考文献：http://www.linuxidc.com/Linux/2011-01/31347.htm

Linux sort uniq awk head 完成访问日志统计排序功能

标签：sort   uniq   awk   访问日志统计排序   

原文地址：http://blog.csdn.net/shmnh/article/details/43260859