本文主要记录下给予python的nginx日志统计过程，主要原因是最近系统经常遭到未知程序的疯狂爬数据，虽然做了防爬机制，但是还是必须要找出是哪些IP访问次数比较多。想到的办法就是通过分析ngxin日志，从而找出这些IP排行即可。具体方案的操作步骤包括：ngxin日志每日切割功能；..
分类：
其他好文 时间：
2015-05-06 11:11:04
阅读次数：
175
Ubuntu 下的 Crontab 日志功能不是自动开启的。开启日志功能的步骤是：① 修改rsyslogsudo vim /etc/rsyslog.d/50-default.conf找到：#cron.* /var/log/cron.log去掉前面的 ...
分类：
系统相关 时间：
2015-05-05 15:56:25
阅读次数：
349
自定义grok格式 在conf 文件的文件夹同级目录下，一般是在patterns 文件夹下，建立自己的pattern 文件，比如extra 文件 # contents of ./patterns/postfix: POSTFIX_QUEUEID [0-9A-F]{10,11} 使用举例，针对日志格...
分类：
其他好文 时间：
2015-05-05 00:11:20
阅读次数：
838
grok-patterns内置了很多基础变量的正则表达式的log解析规则，其中包括apache的log解析（同样可以用于nginx的log解析）。基于nginx日志分析配置：1.配置nginx日志格式如下：log_format main '$remote_addr [$time_local]'' "...
分类：
其他好文 时间：
2015-05-04 17:51:28
阅读次数：
190
这里收集三种日志PHP的错误日志，PHP-FPM的错误日志和慢查询日志在php.ini中设置error_log=/data/app_data/php/logs/php_errors.log在php-fpm.conf中设置error_log=/data/app_data/php/logs/php-fpm_error.logslowlog=/data/app_data/php/logs/php-fpm_slow.logPHP错误日志如下..
分类：
Web程序 时间：
2015-05-04 15:42:45
阅读次数：
485
偶然发现access.log有21G大，所以将其切割。Nginx 是一个非常轻量的 Web 服务器，体积小、性能高、速度快等诸多优点。但不足的是也存在缺点，比如其产生的访问日志文件一直就是一个，不会自动地进行切割，如果访问量很大的话，将 导致日志文件容量非常大，不便于管理。当然了，我们也不希望看到这...
分类：
其他好文 时间：
2015-05-04 13:30:51
阅读次数：
155
nginx日志切割#!/bin/bash
#日志的位置,日志文件以access.log结尾
Logs_Path=/home/wwwlogs
cd${Logs_Path}
#nginx的pid文件
Pid_Path=/var/run/nginx.pid
#日志切割后存放位置
Logs_Logrotate=/home/wwwlogs
#nginx程序
Nginx_Program=/usr/local/tengine/sbin/nginx
#日..
分类：
其他好文 时间：
2015-04-30 20:20:20
阅读次数：
139
日志队列配置介绍：http://blog.chinaunix.net/uid-773723-id-3900229.htmlrsyslog2，3安装与配置：http://edwinzhou.blog.hexun.com/20668674_d.html概念： Rsyslog 是一个 syslogd 的....
分类：
其他好文 时间：
2015-04-29 11:26:21
阅读次数：
172
因为看见许多朋友也都遇到过我这种情况，所以拿出来供大家参考下，我用的loganalyzer版本是Installedversion:3.6.5这里先贴下效果图：添加ip字段1.php文件添加字段vim./include/constants_logstream.php+354修改这个PHP文件2.视图添加字段3.数据库添加字段修改/etc/rsyslog.con..
分类：
数据库 时间：
2015-04-28 18:54:59
阅读次数：
552
简介
ELK 套装包括 ElasticSearch、LogStash 和 Kibana。 其中，ElasticSearch 是一个数据搜索引擎（基于 Apache Lucene）+分布式 NoSQL 数据库；LogStash 是一个消息采集转换器，类似 Syslog，可以接收包括日志消息在内的多种数据格式，然后进行格式转换，发送给后端继续处理；Kibana 是一个 Web 前段，带有强大...
分类：
其他好文 时间：
2015-04-28 11:51:18
阅读次数：
511
