实际工作中，恰好需要处理一个nginx日志，做个简单的分析：引子：开发已经有日志分析平台和工具，但为了查一个问题，需要分析原始日志。要求：原始日志的倒数第二个字段不为空且不为‘-‘的情况下，统计倒数第四个字段不为空且不为‘-‘的且不重复的个数。python脚本如下：#!/usr/b..
分类：
编程语言 时间：
2016-05-08 20:05:55
阅读次数：
786
安装ngxtopwgethttp://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gztarzxvfsetuptools-0.6c11.tar.gzcdsetuptools-0.6c11pythonsetup.pybuildpythonsetup.pyinstallwgethttps://pypi.python.org/packages/source/p/pip/pip-7.1.2.tar.gz#md5=3823d2..
分类：
其他好文 时间：
2016-05-08 01:23:14
阅读次数：
148
nginx泡得太久，日志就越来越大，有必要对其切割下，也便于按天统计访问量神马的。没啥难度，短短几行的脚本即可#!/bin/bash
#Description:rotatenginxaccesslogs
NGX_PID=`cat/usr/local/nginx/logs/nginx.pid`
LOGS_DIR="/home/wwwlogs"
WWW_LOG_NAME="www.demo.com.log"
..
分类：
其他好文 时间：
2016-04-30 18:24:42
阅读次数：
199
背景：nginx网站日志是记录日常网站访问行为的文件，当网站流量特别大或者运行很长时间时，这个日志文件就会变得非常大，但我们又要保留日志内容以方便查看故障原因。那么我们就需要只保留我们需要的那部分即可，这就用到了日志切割。我们可以根据日期，把日志切割成小文件，既..
分类：
其他好文 时间：
2016-04-26 22:19:24
阅读次数：
209
1.awstats介绍 本文主要是记录centos6.5下安装配置awstats，并统计nginx访问日志 1.1 awstats介绍 awstats是一款日志统计工具，它使用Perl语言编写，可统计的日志类型包括appache，nginx，ftp，mail等，awstats对nginx日志统计非常 ...
分类：
其他好文 时间：
2016-04-23 18:21:58
阅读次数：
644
对logrotate运行机制的理解如下：1、由cron来调度执行，脚本位置/etc/cron.daily/logrotate
2、logrotate脚本的默认配置文件/etc/logrotate.conf
3、cron执行logrotate的时间目前未找到确切时间(次此自行定义)测试中发现因轮转日志日期只能为当前日期，因此nginx日志的轮转定时..
分类：
其他好文 时间：
2016-04-23 07:51:31
阅读次数：
192
1.统计ip访问量前10的ip地址cataccess.log|awk‘{print$1}‘|sort|uniq-c|sort-nr|head-n102.查看当天ip访问量统计cataccess.log|grep"21/Apr/2016"|awk‘{print$1}‘|sort|uniq-c|sort-nr3.查看访问前10的页面统计cataccess.log|grep"21/Apr/2016"|awk‘{print$7}‘|sort|uniq-c|sor..
分类：
系统相关 时间：
2016-04-21 18:49:14
阅读次数：
232
面试的时候一定会被面到的问题是：给出web服务器的访问日志，请写一个脚本来统计访问前10的IP有哪些？访问前10的请求有哪些？当你领略过goaccess之后，你就明白，这些问题，除了考验你的脚本背诵记忆能力以外，唯一的作用只有装A或者装C了。 对于nginx日志分析，有很多工具，衡量好坏的标准大概就 ...
分类：
数据库 时间：
2016-04-21 11:43:45
阅读次数：
337
Nginx中日志文件的格式在nginx.conf中定义，其默认格式如下: #vim /usr/local/nginx/conf/nginx.conf log_format access ‘$remote_addr – $remote_user [$time_local] “$request” ‘‘$ ...
分类：
其他好文 时间：
2016-04-18 15:36:45
阅读次数：
165
1、修改Nginx日志格式：log_formatjson‘$remote_addr-$remote_user[$time_local]"$request"‘
‘$status$body_bytes_sent"$http_referer"‘
‘"$http_user_agent""$http_x_forwarded_for"‘;
access_log/data/nginx_logs/access.logjson;2、Nginx日志切割（shell脚本，略）3、安装G..
分类：
其他好文 时间：
2016-04-16 19:42:06
阅读次数：
340
