useragent： 代码（不包含蜘蛛）： 结果： 蜘蛛： 执行结果： ...
分类：
其他好文 时间：
2016-12-28 19:52:44
阅读次数：
294
代码： 代码解释： 定义了一个集成MRJob类的job类，这个类包含定义好的steps。 一个‘step’包含一个mapper，combiner和一个reducer，这些是可选的，但是必须使用至少一个。 mapper()方法有两个参数key,value（这个例子中，key被忽略，每行日志作为一个va ...
分类：
其他好文 时间：
2016-12-28 11:54:37
阅读次数：
285
$time_iso8601ISO8601标准格式下的本地时间。$time_local通用日志格式下的本地时间。我们在配置访问日志的时候，一般都是按照默认格式，但是我觉得$time_local换成$time_iso8601更直观一些。log_formatmain‘$remote_addr-$remote_user$time_iso8601"$request"‘‘$status$body_by..
分类：
其他好文 时间：
2016-12-23 19:59:29
阅读次数：
133
1、说明随着时间的增加，nginx的访问日志会越来越大，下图是新部署的线上zabbix监控网站运行了十几天左右产生的访问日志达到213M。所以必须进行日志分割，要求如下：1、每天的日志单独生成一个文件2、保留30天的访问日志2、编写脚本vim/usr/local/nginx/logs/nginx_log_rotate...
分类：
其他好文 时间：
2016-12-09 01:31:07
阅读次数：
173
1、把IP数量直接输出显示： 2、把IP数量输出到文本显示： 总结：如果单个访问日志大小超过2G，用这个命令查看时很占系统资源，系统负载会上升；所以在服务器高负载时不要查看，最好在低负载时间段查看。上面截图是公司其中一台广告服务器的一天ip访问量，这个访问量其实还包括了搜索引擎的。访问日志只能做个参 ...
分类：
Web程序 时间：
2016-11-22 02:33:39
阅读次数：
291
一.nginx错误日志nginx软件会把自身运行的故障信息及用户访问的日志信息记录到指定的日志文件里一般在nginx.conf配置文件第二行添加：error_loglogs/error.logerror；↓↓↓关键字日志文件日志级别其实如果不添加这行的话，默认就是这样关于日志级别：错误日志常见的级别有：de..
分类：
其他好文 时间：
2016-07-15 17:19:06
阅读次数：
190
脚本功能：日志切割类脚本，包含：nginx的访问日志、网关设备、AC设备、认证信息等等日志，都通过ftp上传到相应的服务器进行保存。---------------#!/bin/bash
#Cutanduploadnginxlog
#bycolin
#revisionon2016-02-22
########################################
#功能说明：该..
分类：
Web程序 时间：
2016-07-05 22:43:01
阅读次数：
395
一、nginx访问日志，格式调整为json#cat/opt/config/tengine/nginx.conf|grepjsonlog_formatjson‘{"@timestamp":"$time_iso8601",‘‘"host":"$server_addr",‘‘"method":"$request_method",‘‘"url":"$request",‘‘"clientip":"$http_x_forwarded_for",‘‘"protocol":"$server_proto..
分类：
其他好文 时间：
2016-06-24 20:49:08
阅读次数：
250
1.awstats介绍 本文主要是记录centos6.5下安装配置awstats，并统计nginx访问日志 1.1 awstats介绍 awstats是一款日志统计工具，它使用Perl语言编写，可统计的日志类型包括appache，nginx，ftp，mail等，awstats对nginx日志统计非常 ...
分类：
其他好文 时间：
2016-04-23 18:21:58
阅读次数：
644
