日志格式：
118.78.199.98–-[09/Jan/2010:00:59:59+0800]“GET/Public/Css/index.cssHTTP/1.1″304–
“http://www.a.cn/common/index.php”“Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1;SV1;GTB6.3)”
访问次数最多的10个IP：
awk‘{print$1}‘apache_log|sort|uniq-c|s..
分类：
Web程序 时间：
2015-05-29 18:29:00
阅读次数：
201
需求：对nginx的access.log日志分析，要求最近100次请求中状态值不是200的百分比。日志格式如下：192.168.123.6--[26/May/2015:23:44:21+0800]"GET/get_seller_info&format=jsonHTTP/1.1"20034679"-""Dalvik/1.6.0(Linux;U;Android4.4.4;MX4ProBuild/KTU84P)""-""3.562"思..
分类：
其他好文 时间：
2015-05-27 16:04:59
阅读次数：
210
如题，分析首先最简单的取出ipcd/usr/local/nginx/logs
awk‘{print$1}‘access.log|sort|uniq-c|sort-rn|head-n50|awk‘{print$2}‘>/root/list
#在nginx/apache下执行上述代码。把ip写到list列表然后思路就是把每个ip的来源地分析出来，我用的淘宝的ip数据库，还是不错的#!/bi..
分类：
数据库 时间：
2015-05-26 19:05:22
阅读次数：
334
在使用goaccess对squid访问日志进行分析,squid访问日志配置如下：logformatcombined%>a%[ui%[un[%tl]"%rm%ruHTTP/%rv"%>Hs%<st"%{Referer}>h""%{User-Agent}>h""-"%tr
#logformatcombined%>a%[ui%[un[%tl]"%rm%ruHTTP/%rv"%>Hs%<st"%{Referer}>h""%..
分类：
其他好文 时间：
2015-05-14 12:19:05
阅读次数：
340
方案一：保存到日志文件中或者保存到document db(如mongodb)都是一个优秀的解决方案。保存到日志的话相对占用容量较少，不过需要自己写脚本分析日志。保存到document db的话相对占用容量较大，不过db自身提供多种查询解决方案可以很方便快速的查询自己想要的结果统计信息对于实效性要求都...
分类：
其他好文 时间：
2015-05-14 09:57:29
阅读次数：
123
确定时间范围—快速搜索—IP地址过滤、类型过滤、状态过滤—确定攻击—分析攻击确定特征文件—特征过滤—IP地址搜索、时间搜索、状态搜索—确定范围和时间—分析攻击IIS6.0日志文件默认位置：%systemroot%\system32\logfiles\w3svc1\，默认每天一个日志；date：日期 ...
分类：
其他好文 时间：
2015-05-13 21:34:06
阅读次数：
198
AWStats是一个免费、功能强大、特性丰富的日志分析工具，它能分析由WEB、STREAMING、FTP、MAIL等服务生成的日志，并生成先进的统计图表。AWStats作为CGI或从命令行运行，在数个图形网页中显示你日志中包含的所有可能信息。它利用一部分档案资料就能经常很快地处理大量日志档案..
分类：
其他好文 时间：
2015-05-13 06:28:15
阅读次数：
177
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数 据。活跃的流式数据在web网站应用中非常常见，这 些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统...
分类：
其他好文 时间：
2015-05-10 20:14:37
阅读次数：
159
GoAccess是一款开源的网站日志实时分析工具。GoAccess的工作方式很容易理解，就是读取和解析Apache/Nginx/Lighttpd的访问日志文件accesslog，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概况、动态页面请求、静态页面请求（如图片、样式表、脚本等）、访客排..
分类：
数据库 时间：
2015-05-07 17:04:55
阅读次数：
260
#!/bin/shif[!-d/home/passport_log_tmp]&&[!-d/usr/local/nginx/html/awstats/passport.xxx.com];thenmkdir-p/usr/local/nginx/html/awstats/passport.xxx.commkdir-p/home/passport_log_tmpfirm-rf/home/passport_log_tmp/access_*.logfind/home/passport_log/web[1-..
分类：
其他好文 时间：
2015-05-07 16:58:36
阅读次数：
204
