#!/bin/bash
#
#Filename:nginxCutLog.sh
#Author:Qicheng
#Website:http://qicheng0211.blog.51cto.com/
#Description:切割nginx日志
#Notes:设置crontab，每天23点59分定时执行
#
ROOT_UID=0
if["$UID"-ne"$ROOT_UID"];then
echo"Error:必须以root用户运行此程序！"
exit1
fi..
分类：
其他好文 时间：
2015-05-06 18:19:03
阅读次数：
124
本文主要记录下给予python的nginx日志统计过程，主要原因是最近系统经常遭到未知程序的疯狂爬数据，虽然做了防爬机制，但是还是必须要找出是哪些IP访问次数比较多。想到的办法就是通过分析ngxin日志，从而找出这些IP排行即可。具体方案的操作步骤包括：ngxin日志每日切割功能；..
分类：
其他好文 时间：
2015-05-06 11:11:04
阅读次数：
175
grok-patterns内置了很多基础变量的正则表达式的log解析规则，其中包括apache的log解析（同样可以用于nginx的log解析）。基于nginx日志分析配置：1.配置nginx日志格式如下：log_format main '$remote_addr [$time_local]'' "...
分类：
其他好文 时间：
2015-05-04 17:51:28
阅读次数：
190
偶然发现access.log有21G大，所以将其切割。Nginx 是一个非常轻量的 Web 服务器，体积小、性能高、速度快等诸多优点。但不足的是也存在缺点，比如其产生的访问日志文件一直就是一个，不会自动地进行切割，如果访问量很大的话，将 导致日志文件容量非常大，不便于管理。当然了，我们也不希望看到这...
分类：
其他好文 时间：
2015-05-04 13:30:51
阅读次数：
155
nginx日志切割#!/bin/bash
#日志的位置,日志文件以access.log结尾
Logs_Path=/home/wwwlogs
cd${Logs_Path}
#nginx的pid文件
Pid_Path=/var/run/nginx.pid
#日志切割后存放位置
Logs_Logrotate=/home/wwwlogs
#nginx程序
Nginx_Program=/usr/local/tengine/sbin/nginx
#日..
分类：
其他好文 时间：
2015-04-30 20:20:20
阅读次数：
139
flume写hdfs的操作在HDFSEventSink.process方法中，路径创建由BucketPath完成分析其源码（参考：http://caiguangguang.blog.51cto.com/1652935/1619539）可以使用%{}变量替换的形式实现，只需要获取event中时间字段（nginx日志的localtime）传入hdfs.path即可具体实现如下：1...
分类：
Web程序 时间：
2015-04-19 19:37:36
阅读次数：
156
#安装说明
https://projects.pekdon.net/projects/plog/wikis/Install
envPHEW_CONFIG=/etc/plog.cfgphewhttpdplog.frontend
phew模块网址
https://www.pekwm.org/projects/phew/
nginx日志配置
access_logsyslog:user:info:127.0.0.1:5514:identmain;
系统日志配置
*.*@192...
分类：
其他好文 时间：
2015-04-18 06:28:09
阅读次数：
170
nginx有时候当你修改配置文件过后就会报错，但是你也没有改什么，就是发现不了问题，nginx日志报错如下那么就输入 sudo fuser -k 80/tcp之后再重启nginx就可以了
分类：
其他好文 时间：
2015-04-08 19:41:49
阅读次数：
128
nginx日志设置如下log_formataccess‘$remote_addr-$remote_user[$time_local]"$request"‘‘$status$body_bytes_sent"$http_referer"‘‘"$http_user_agent""$request_body""$http_x_forwarded_for"-"$http_soapaction""$request_time"‘;$remote_addr记录的是阿里云SLB内网转发地址..
分类：
其他好文 时间：
2015-04-04 19:53:52
阅读次数：
178
