标题是不是可以翻译成这样:logstashFiltersnginxaccesslog好了,进入正题,日志管理服务器我用ElasticSearch+LogStash+Kibana+Redis先说下我的架构:远程NGINX采集日志数据到REDIS+logstash+elasticsearch+kibana服务器至于怎么部署,因本人之前用baidu博客写在那上面了,以后..
分类:
其他好文 时间:
2015-05-07 01:08:56
阅读次数:
187
自定义grok格式 在conf 文件的文件夹同级目录下,一般是在patterns 文件夹下,建立自己的pattern 文件,比如extra 文件 # contents of ./patterns/postfix: POSTFIX_QUEUEID [0-9A-F]{10,11} 使用举例,针对日志格...
分类:
其他好文 时间:
2015-05-05 00:11:20
阅读次数:
838
grok-patterns内置了很多基础变量的正则表达式的log解析规则,其中包括apache的log解析(同样可以用于nginx的log解析)。基于nginx日志分析配置:1.配置nginx日志格式如下:log_format main '$remote_addr [$time_local]'' "...
分类:
其他好文 时间:
2015-05-04 17:51:28
阅读次数:
190
这里收集三种日志PHP的错误日志,PHP-FPM的错误日志和慢查询日志在php.ini中设置error_log=/data/app_data/php/logs/php_errors.log在php-fpm.conf中设置error_log=/data/app_data/php/logs/php-fpm_error.logslowlog=/data/app_data/php/logs/php-fpm_slow.logPHP错误日志如下..
分类:
Web程序 时间:
2015-05-04 15:42:45
阅读次数:
485
简介
ELK 套装包括 ElasticSearch、LogStash 和 Kibana。 其中,ElasticSearch 是一个数据搜索引擎(基于 Apache Lucene)+分布式 NoSQL 数据库;LogStash 是一个消息采集转换器,类似 Syslog,可以接收包括日志消息在内的多种数据格式,然后进行格式转换,发送给后端继续处理;Kibana 是一个 Web 前段,带有强大...
分类:
其他好文 时间:
2015-04-28 11:51:18
阅读次数:
511
一应用场景描述在有些情况下,仅仅通过Zabbix去监控MongoDB的端口和各种状态还不够,MongoDB的日志监控也是很重要的。例如Mongos连接后端的Shard报SocketException错误等。二
分类:
数据库 时间:
2015-04-23 13:52:48
阅读次数:
443
1、 开机自动启动Redis 1),拷贝redis目录utils下的redis_init_script文件到/etc/init.d,并将其重命名为redisd,再运行chmod u+x redisd 2),修改redis根目录下的redis.conf,将daemonize修改为yes,将pidfile,...
分类:
其他好文 时间:
2015-04-10 11:46:05
阅读次数:
197
最近做日志分析,发现logstash较符合自己的需求,Logstash:做系统log收集,转载的工具。同时集成各类日志插件,对日志查询和分析的效率有很大的帮助。一般使用shipper作为log收集、indexer作为log转载。Logstashshipper收集log并将log转发给redis存储Logstashindexer从redis中读..
分类:
其他好文 时间:
2015-04-09 17:52:55
阅读次数:
524