最近想用goaccess来分析下nginx日志，但是苦于nginx日志配置格式不是按照正常格式来的，完全是我们按照自己的需求来写的，所以导致goaccess分析不了，需要自己重新定义下格式；但是网上虽然介绍goaccess的很多，但是大多都是就重避轻，将格式的自定义忽略掉，因此我就来把自定义这块说下，希望能够帮助到大家。
首先附上goaccess的官方使用说明及参数介绍，直接安装官方文档来配置才...
分类：
数据库 时间：
2014-12-15 19:04:35
阅读次数：
281
在网上很难找到logstash中文资料，ruby也没了解过，看官方文档太吃力，而我的要求也不高，使用loggstash可以提取想要的字段即可。以下内容纯粹想当然的理解：logstash配置格式#官方文档：http://www.logstash.net/docs/1.4.2/
input{
...#读取数据，logstash已提供非常多的插..
分类：
编程语言 时间：
2014-12-14 07:17:28
阅读次数：
2023
#!/bin/bash
# 01 00 * * * /nginxlogs/ngx_logcut.sh >/dev/null 2>&1 ##可以放到计划任务里自动执行脚本
pidfile=/var/run/nginx.pid #nginx进程pid文件
logpath='/nginxlogs/' #日志目录
keepdays=30 ...
分类：
其他好文 时间：
2014-12-13 16:31:47
阅读次数：
198
filter-json：http://www.logstash.net/docs/1.4.2/filters/jsonjson数据：{"account_number":995,"balance":21153,"firstname":"Phelps","lastname":"Parrish","age":25,"gender":"M","address":"666MillerPlace","employer":"Pearlessa","email":"phelpsparrish@pearlessa.co..
分类：
Web程序 时间：
2014-12-13 06:21:29
阅读次数：
176
mutate:http://www.logstash.net/docs/1.4.2/filters/mutate使用logstash提取oracle的alter日志的ora错误。日志格式如下：alterdatabaseopen
Errorsinfiled:\oracle\diag\rdbms\hxw168\hxw168\trace\hxw168_ora_6148.trc:
ORA-01589:要打开数据库则必须使用RESETLOGS或NORESETL..
分类：
其他好文 时间：
2014-12-13 06:19:46
阅读次数：
738
最近在分析nginx日志发现，有很多可以ip访问网站根目录，如下：
GET / - - 58.60.170.219 HTTP/1.1 [Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)]
GET / - - 58.60.170.219 HTTP/1.1 [Mozilla/5.0 (compatible; MSIE...
分类：
Web程序 时间：
2014-12-10 16:21:14
阅读次数：
189
还有慢慢摸索，NG的MYSQL配置，我始终没搞好。RSYSLOG则比较容易。另外，也可以每个RSYSLOG直接入库，不需要经过LOG SERVER。。如果有一个大内网的话。。。配合LOGANALYZER可进行简单的自定义日志管理 。
分类：
其他好文 时间：
2014-12-05 17:05:24
阅读次数：
374
Your logs are your data: logstash + elasticsearch
by
Andrey Redko
on February 25th, 2013
| Filed in:
Enterprise Java
Tags: Elasticsearch,
Logging,
Logstash
Topic of today’s post stays a b...
分类：
其他好文 时间：
2014-12-03 21:38:48
阅读次数：
326
rsyslog日志管理日志：一些历史事件按时间序列将其记录，方便查错以及方便核实所发生的事件。rsyslog的特点：多线程；强大的过滤功能，可实现过滤系统信息中的任意部分；自定义输出格式；适用于企业级别日志记录需求。系统对指定设施定义了八个消息级别分别是：debug（调试级）..
分类：
其他好文 时间：
2014-12-01 06:40:14
阅读次数：
463
今天搭建logsatsh+redis+elasticsearch时出现了问题，经过近一小时排查，终于解决。记录一下。
环境是这样，一台客户端发送数据到位于服务器的redis，服务器端的logstash读redis的数据，存储到elasticsearch中。
初步问题是这样的：在服务器端，没有收到客户端发送过来的日志。
这样就可能有两种问题：一是客户端的logstash没有成功发送数据到red...
分类：
其他好文 时间：
2014-11-27 20:31:10
阅读次数：
185
