码迷,mamicode.com
首页 > 编程语言 > 详细

Linux sort uniq awk head 完成访问日志统计排序功能

时间:2015-01-29 09:27:01      阅读:167      评论:0      收藏:0      [点我收藏+]

标签:sort   uniq   awk   访问日志统计排序   

我们开发时候经常会统计一些访问日志,访问日志中的url是海量的,并且好多是重复内容。以url为例,统计url中出现频率次数前5的url,并按出现次数的降序排序。

linux命令:cat url.log | sort | uniq -c |sort -n -r -k 1 -t   ‘ ‘ | awk -F  ‘//‘  ‘{print $2}‘

现在来一一分析这些命令组合的含义。

0)访问日志样例

技术分享

1) cat  t1.log

技术分享

表示对data文件中的内容进行排序。sort命令是对于每一行的内容根据字典序(ASCII码)进行排序,这样可以保证重复的记录时相邻的。


2) cat  t1.log | sort | uniq -c

技术分享

这里,通过管道(|)将左边部分的命令的输出作为右边部分的输入。uniq -c 表示合并相邻的重复记录,并统计重复数。因为uniq -c 只会合并相邻的记录,所以在使用该命令之前需要先排序。

3) cat  t1.log | sort | uniq -c | sort -k 1 -n -r

技术分享

经过uniq -c 处理之后的数据格式形如"2 data",第一个字段是数字,表示重复的记录数;第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第一个字段进行排序,这里即指代表重复记录数的那个字段。因为sort命令的默认排序是按照ASCII,这就会导致按从大到小进行排序时,数值2会排在数值11的前面,所以需要使用-n 参数指定sort命令按照数值大小进行排序。-r 表示逆序,即按照从大到小的顺序进行排序。


4) cat  t1.log | sort  | uniq -c | sort -k 1 -n -r | awk -F ‘//‘  ‘{print  $2}‘

技术分享

经过sort data | uniq -c | sort -k 1 -n -r 处理后的文本是 http://192.168.1.100 这样的格式,我们需要的结果是192.168.1.100这样的格式,需要去掉http://这些字段,采用awk才处理,awk -F ‘//‘ 是将http://192.168.1.100分组成2部分 http://  和 192.168.1.100,{print  $2}的作用是取数组的第二部分,即192.168.1.100


5) cat  t1.log | sort | uniq -c | sort -k 1 -n -r | awk -F ‘//‘  ‘{print  $2}‘| head -5

技术分享

head 命令表示选取文本的前x行。通过head -5 就可以得到排序结果中前五行的内容。


6)上面http://192.168.1.100这样日志格式只是一个简单的示例,实际中的格式会比较复杂 如:/Get   http://192.168.1.100  /auth, 我们可以通过awk -F 或者cut  -k 命令来截取url。详情参考awk、cut 命令使用方法。


参考文献:http://www.linuxidc.com/Linux/2011-01/31347.htm


Linux sort uniq awk head 完成访问日志统计排序功能

标签:sort   uniq   awk   访问日志统计排序   

原文地址:http://blog.csdn.net/shmnh/article/details/43260859

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!