Linux下定时切割nginx日志并删除指定天数前的日志记录

标签：nginx   log   access.log   

nginx的log日志分为access.log和error.log；其中access.log 记录了哪些用户、哪些页面以及用户浏览器、ip和其他的访问信息；error.log则是记录服务器错误日志.

error.log日志的形式如下：

201.158.69.116 - - [03/Jan/2013:21:17:20 -0600] fwf[-] tip[-] 127.0.0.1:9000 0.007 0.007 MX pythontab.com GET /html/test.html HTTP/1.1 "200" 2426 "http://a.com" "es-ES,es;q=0.8" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11"
187.171.69.177 - - [03/Jan/2013:21:17:20 -0600] fwf[-] tip[-] 127.0.0.1:9000 0.006 0.006 MX pythontab.com GET /html/test2.html HTTP/1.1 "200" 2426 "http://a.com" "es-ES,es;q=0.8" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11"

从上面我们可以看出几部分信息：

1.客户端（用户）IP地址。如：上例中的 201.158.69.116

2.访问时间。如：上例中的 [03/Jan/2013:21:17:20 -0600]

3.访问端口。如：上例中的 127.0.0.1:9000

4.响应时间。如：上例中的 0.007

5.请求时间。如：上例中的 0.007

6.用户地理位置代码（国家代码）。如：上例中的 MX（墨西哥）

7.请求的url地址（目标url地址）的host。如：上例中的 pythontab.com

8.请求方式（GET或者POST等）。如：上例中的 GET

9.请求url地址（去除host部分）。如：上例中的 /html/test.html

10.请求状态（状态码，200表示成功，404表示页面不存在，301表示永久重定向等，具体状态码可以在网上找相关文章，不再赘述）。如：上例中的 "200"

11.请求页面大小，默认为B（byte）。如：上例中的 2426

12.来源页面，即从哪个页面转到本页，专业名称叫做“referer”。如：上例中的 "http://a.com"

13.用户浏览器语言。如：上例中的 "es-ES,es;q=0.8"

14.用户浏览器其他信息，浏览器版本、浏览器类型等。如：上例中的  "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML,like Gecko) Chrome/23.0.1271.97 Safari/537.11"

access.log日志的格式不是一成不变的，是可以自定义的。在nginx的nginx.conf配置文件找到：log_format 这里就是日志的格式

    #log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘
    #                  ‘$status $body_bytes_sent "$http_referer" ‘
    #                  ‘"$http_user_agent" "$http_x_forwarded_for"‘;

    #access_log  logs/access.log  main;

log_format是Nginx的HttpLog模块指令，用于指定Nginx日志的输出格式。main为此日志输出格式的名称，可以在下面的access_log指令中引用。

eg：

192.168.21.1 - - [27/Jan/2014:11:28:53 +0800] "GET /2.php HTTP/1.1" 200 133 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1707.0 Safari/537.36" "-"192.168.21.128 200 127.0.0.1:9000 0.119 0.119

$remote_addr：客户端地址  192.168.21.1

$remote_user：客户端用户 -

$time_local：时间和时区   27/Jan/2014:11:28:53 +0800

$request：请求的URL路径和HTTP协议   GET /2.php HTTP/1.1

$status： HTTP状态  200

$body_bytes_sent：发送给客户端页面大小  133

$http_referer：页面跳转来源 -

$http_user_agent：用户访问终端  Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1707.0 Safari/537.36

$http_x_forwarded_for：HTTP 代理中，请求端真实IP -

$http_host：用户在浏览器中输入的URL（IP或着域名）地址  192.168.21.128

$upstream_status： upstream状态    200

$upstream_addr： 后端upstream地址及端口  127.0.0.1:9000

$request_time： 页面访问总时间  0.119

$upstream_response_time：页面访问中upstream响应时间   0.119

如果在客户端和Web服务器之间增加了中间层（比如反向代理服务器），此时Web服务器无法直接拿到客户端的lP，通过$remote_addr变量拿到的将是反向代理服务器的IP地址。但是，反向代理服务器在转发请求的HTTP头信息中，可以增加X-Forwarded-For信息，用以记录原有的客户端lP地址和原来客户端请求的服务器地址。 

这时候，就要用log_format指令来设置日志格式，让日志记录X-Forwarded-For信息中的lP地址，即客户的真实IP。例如，创建一个名为mylogformat的日志格式，再用$http_x_forwarded_for变量记录用户的X-Forwarded-For lP地址： 

    log_format  mylogformat  ‘$http_x_forwarded_for - $remote_user [$time_local] "$request" ‘
                      ‘$status $body_bytes_sent "$http_referer" ‘
                      ‘"$http_user_agent" "$http_x_forwarded_for"‘;

如果不想记录日志，可以使用以下指令关闭日志记录： 

 access_log off

nginx日志文件的切割

生产环境中的服务器，由于访问日志文件增长速度非常快，日志太大会严重影响服务器效率。同时，为了方便对日志进行分析计算，须要对日志文件进行定时切割。定时切割的方式有按月切割、按天切割、按小时切割等。最常用的是按天切割。 
Nginx不支持像Apache 一样使用cronolog来轮转日志，但是可以采用以下方式来实现日志文件的切割： 
mv /usr/local/nginx/logs/access.log /usr/local/nginx/logs/access_20150519084513.log 
kill -USR1 Nginx主进程号 
通过mv命令将日志文件重命名为/usr/local/nginx/logs/access_20150519084513.log，然后发送kill -USR1信号给Nginx的主进程号，让Nginx重新生成一个新的日志文件/usr/local/nginx/logs/access.log。 
如果想每天定时切割日志，还须要借助crontab。我们可以写一个按天切割的日志，按年、月份目录存放日志的shell脚本： 

[root@localhost logs]# vim /usr/local/nginx/sbin/cut_nginx_log.sh 

#!/bin/bash
logs_path="/usr/local/nginx/logs/"
DAYS=30
mv ${logs_path}access.log ${logs_path}access_$(date -d "yesterday" +"%Y%m%d%H%M%S").log
kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`
find ${logs_path} -name "access_*.log" -type f -mtime +$DAYS -exec rm {} \;
[root@localhost logs]# chmod +x /usr/local/nginx/sbin/cut_nginx_log.sh 
[root@localhost logs]# crontab -e
0 0 * * * /usr/local/nginx/sbin/cut_nginx_log.sh     
[root@localhost logs]# service crond restart
Stopping crond:                                            [  OK  ]
Starting crond:                                            [  OK  ]
[root@localhost logs]# chkconfig crond on
[root@localhost logs]#

如果脚本在执行过程中出现下面错误

nginx: [error] open() ＂/usr/local/nginx/logs/nginx.pid＂ failed

解决办法：

[root@localhost logs]# /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

本文出自 “我本不是菜鸟” 博客，请务必保留此出处http://pvbutler.blog.51cto.com/7662323/1653088

Linux下定时切割nginx日志并删除指定天数前的日志记录

标签：nginx   log   access.log   

原文地址：http://pvbutler.blog.51cto.com/7662323/1653088