码迷,mamicode.com
首页 > 其他好文 > 详细

Nginx日志分析 awk 命令

时间:2020-10-18 16:18:58      阅读:21      评论:0      收藏:0      [点我收藏+]

标签:排序   page   nginx日志分析   oca   使用   独立   查询   ted   大于   

通过Nginx日志,可以简单分析WEB网站的运行状态、数据报表、IP、UV(unique visitor指独立访客访问数,一台电脑终端为一个访客。)、PV(page view即页面访问量,每打开一次页面PV计数+1,刷新页面也是)访问量等需求,如下为常用需求分析:
(1) 统计Nginx服务器独立IP数。 
awk ‘{print $1}‘ access.log |sort -r|uniq -c | wc -l
(2) 统计Nginx服务器总PV量。
awk ‘{print $7}‘ access.log |wc -l
(3) 统计Nginx服务器UV统计。
awk ‘{print $11}‘ access.log |sort -r|uniq -c |wc -l
(4) 分析Nginx访问日志截止目前为止访问量前20的IP列表。
awk ‘{print $1}‘ access.log|sort |uniq -c |sort -nr |head -20
(5) 分析Nginx访问日志早上9点至中午12点的总请求量。
sed -n "/2016:09:00/,/2016:12:00/"p access.log
awk ‘/2017:09:00/,/2017:12:00/‘ access.log|wc –l
(9) 分析Nginx访问日志状态码404、502、503、500、499等错误信息页面,打印错误出现次数大于20的IP地址。
awk ‘{if ($9~/502|499|500|503|404/) print $1,$9}‘ access.log|sort|uniq –c|sort –nr | awk ‘{if($1>20) print $2}‘
(10) 分析Nginx访问日志访问最多的页面。
awk ‘{print \(7}‘ access.log |sort |uniq -c|sort -nr|head -20 (11) 分析Nginx访问日志请求处理时间大于5秒的URL,并打印出时间、URL、访客IP。 awk ‘{if (\)NF>5) print $NF,$7,$1}‘ access.log|sort -nr|more
新增匹配案例

1.首先定义日志格式:
‘$remote_addr - \(remote_user [\)time_local] "$request" $status \(body_bytes_sent " \)http_referer" "\(http_user_agent" "\)http_x_forwarded_for"‘
统计访问 IP 次数:

awk ‘{a[$1]++}END{for(v in a)print v,a[v]}‘ access.log

统计访问访问大于 100 次的 IP:

awk ‘{a[$1]++}END{for(v in a){if(a[v]>100)print v,a[v]}}‘ access.log

统计访问 IP 次数并排序取前 10:

awk ‘{a[$1]++}END{for(v in a)print v,a[v] |"sort -k2 -nr |head -10"}‘ access.log

统计时间段访问最多的 IP:

awk ‘$4>="[02/Jan/2017:00:02:00" && $4<="[02/Jan/2017:00:03:00"{a[$1]++}END{for(v in a)print v,a[v]}‘ access.log

统计上一分钟访问量:
date=$(date -d ‘-1 minute‘ +%d/%b/%Y:%H:%M)

awk -vdate=$date ‘$4~date{c++}END{print c}‘ access.log

统计访问最多的 10 个页面:

awk ‘{a[$7]++}END{for(v in a)print v,a[v] |"sort -k1 -nr|head -n10"}‘ access.log

统计每个 URL 数量和返回内容总大小:

awk ‘{a[$7]++;size[$7]+=$10}END{for(v in a)print a[v],v,size[v]}‘ access.log

首先使用$7 ++ 赋值数组a,将收集到的下标进行统计,然后再相加,++字符是代表从0开始,然后每遇到一个相同的字段就+1,又定义了一个size 数组,匹配$7的地址,然后利用+=符号,计算每个网页的大小,遇到$7相同的网页就$10就相加,所以匹配的条件的书籍都被写入到awk 内部中的数组表内,最后利用for 循环赋值v 进行循环读取awk数组表内的每个值,进行输出。

统计每个 IP 访问状态码数量:

awk ‘{a[$1" "$9]++}END{for(v in a)print v,a[v]}‘ access.log

统计访问 IP 是 404 状态的次数:
awk ‘{if ($9~/404/)a[$1" "$9]++}END{for(i in a)print i,a[i]}‘ access.log

查询18:00-18:09分日志

grep ‘2019-10-30 18:0[0-9]‘ info.log

Nginx日志分析 awk 命令

标签:排序   page   nginx日志分析   oca   使用   独立   查询   ted   大于   

原文地址:https://www.cnblogs.com/passzhang/p/13825811.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!