1.初步分离业务系统在运行期间会抛出来一些运行期异常日志，监控这些日志，过滤多余其它日志，然后给予相应owner告警就成为异常监控的目标之一。logstash配置如下：input {file {type => "exception"path => "/Users/xxxxx/Documents/xx...
分类：
其他好文 时间：
2015-05-29 22:55:28
阅读次数：
226
1.http请求参数分离请求url一般携带了一些业务参数，因为业务将token拼接到url的参数中，单独将其解析出来，可以用于用户行为分析，因此，基于logstash的kv进行处理。kv{ source=>"request" field_split=>"?"}2.垃圾日志清理静态页面里面...
分类：
其他好文 时间：
2015-05-29 21:42:20
阅读次数：
205
logstash轻松过滤海量日志，研究下logstash的其它插件，可以轻松监控日志并报警，爽歪歪了，直接附上脚本监控说明：1、sonp.phpson-server.php这两个URL小于100字节，状态码非200，报警
2、所有状态码非200，报警
3、所有请求超过10S，报警邮件本机配置postfix或者sendmail，监..
分类：
其他好文 时间：
2015-05-18 21:13:20
阅读次数：
147
logstash轻松过滤海量日志，研究下logstash的其它插件，可以轻松监控日志并报警，爽歪歪了，直接附上脚本监控说明：1、sonp.phpson-server.php这两个URL小于100字节，状态码非200，报警
2、所有状态码非200，报警
3、所有请求超过10S，报警邮件本机配置postfix或者sendmail，监..
分类：
其他好文 时间：
2015-05-18 21:12:03
阅读次数：
124
标题是不是可以翻译成这样：logstashFiltersnginxaccesslog好了，进入正题，日志管理服务器我用ElasticSearch+LogStash+Kibana+Redis先说下我的架构：远程NGINX采集日志数据到REDIS+logstash+elasticsearch+kibana服务器至于怎么部署，因本人之前用baidu博客写在那上面了，以后..
分类：
其他好文 时间：
2015-05-07 01:08:56
阅读次数：
187
自定义grok格式 在conf 文件的文件夹同级目录下，一般是在patterns 文件夹下，建立自己的pattern 文件，比如extra 文件 # contents of ./patterns/postfix: POSTFIX_QUEUEID [0-9A-F]{10,11} 使用举例，针对日志格...
分类：
其他好文 时间：
2015-05-05 00:11:20
阅读次数：
838
grok-patterns内置了很多基础变量的正则表达式的log解析规则，其中包括apache的log解析（同样可以用于nginx的log解析）。基于nginx日志分析配置：1.配置nginx日志格式如下：log_format main '$remote_addr [$time_local]'' "...
分类：
其他好文 时间：
2015-05-04 17:51:28
阅读次数：
190
这里收集三种日志PHP的错误日志，PHP-FPM的错误日志和慢查询日志在php.ini中设置error_log=/data/app_data/php/logs/php_errors.log在php-fpm.conf中设置error_log=/data/app_data/php/logs/php-fpm_error.logslowlog=/data/app_data/php/logs/php-fpm_slow.logPHP错误日志如下..
分类：
Web程序 时间：
2015-05-04 15:42:45
阅读次数：
485
简介
ELK 套装包括 ElasticSearch、LogStash 和 Kibana。 其中，ElasticSearch 是一个数据搜索引擎（基于 Apache Lucene）+分布式 NoSQL 数据库；LogStash 是一个消息采集转换器，类似 Syslog，可以接收包括日志消息在内的多种数据格式，然后进行格式转换，发送给后端继续处理；Kibana 是一个 Web 前段，带有强大...
分类：
其他好文 时间：
2015-04-28 11:51:18
阅读次数：
511
一应用场景描述在有些情况下，仅仅通过Zabbix去监控MongoDB的端口和各种状态还不够，MongoDB的日志监控也是很重要的。例如Mongos连接后端的Shard报SocketException错误等。二
分类：
数据库 时间：
2015-04-23 13:52:48
阅读次数：
443
