logstash作为数据搜集器，主要分为三个部分：input->filter->output 作为pipeline的形式进行处理,支持复杂的操作，如发邮件等 input配置数据的输入和简单的数据转换 filter配置数据的提取，一般使用grok output配置数据的输出和简单的数据转换 运行：lo ...
分类：
其他好文 时间：
2016-11-14 02:02:11
阅读次数：
317
网上nginx错误日期切分的版本各式各样,能用的没几个,踩过很多坑,特意记录下: grok详细信息 输出: ...
分类：
其他好文 时间：
2016-09-07 19:25:53
阅读次数：
332
Logstash配置文档#vimuseTime.confinput{stdin{}}filter{grok{match=>{"message"=>
"\s+(?<API>调用.*(用时|异常)).*useTime=(?<useTime>\d+?)$"}}}output{stdout{codec=>rubydebug}}过滤正则表达示\s+(?<API>调用.*(用时|异常))
-->调用gz(广州..
分类：
其他好文 时间：
2016-07-31 00:23:20
阅读次数：
2407
一般系统或服务生成的日志都是一大长串。每个字段之间用空格隔开。logstash在获取日志是整个一串获取，如果能日志中每个字段代表的意思分割开来在传给elasticsearch。这样呈现出来的效果将会更加好，而且也能让kibana更方便的绘制图形。Grok是Logstash最重要的插件。它的主要作..
分类：
其他好文 时间：
2016-07-20 19:52:42
阅读次数：
931
logstash配置文件#nginx_log.confinput{file{type=>"nginx_log"path=>"/opt/nginx/logs/access.log"}}filter{if[type]=="nginx_log"{grok{match=>{"message"=>"%{NGINXACCESS}"}}if([message]=~"^*launcher*|^*favicon*"){drop{}}geoip{source=>"remote_addr"ta..
分类：
其他好文 时间：
2016-06-16 13:28:06
阅读次数：
443
Grok是Logstash最重要的插件。你可以在grok里预定义好命名正则表达式，在稍后(grok参数或者其他正则表达式里)引用它。它非常适用于sysloglogs，apache和一些其他的webserverlogs，以及mysqllogs。grok有很多定义好pattern，当然也可以自己定义。grok的语法：%{SYNTAX:SEMANTIC}..
分类：
其他好文 时间：
2016-05-24 22:57:57
阅读次数：
9659
USERNAME[a-zA-Z0-9_-]+
USER%{USERNAME}
INT(?:[+-]?(?:[0-9]+))
BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER(?:%{BASE10NUM})
BASE16NUM(?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT\b(?<![0-9A-Fa-f.])..
分类：
其他好文 时间：
2016-05-24 19:20:21
阅读次数：
1516
logstashgrokpatternUSERNAME[a-zA-Z0-9_-]+
USER%{USERNAME}
INT(?:[+-]?(?:[0-9]+))
BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER(?:%{BASE10NUM})
BASE16NUM(?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT\b(..
分类：
其他好文 时间：
2016-05-06 19:54:54
阅读次数：
265
input{
file{
type=>"java-err"
path=>"/fsmeeting/tomcat-service/logs/catalina.out"
tags=>"java-err"
codec=>multiline{
pattern=>"^%{TIMESTAMP_ISO8601}"
negate=>true
what=>"previous"
}
}
}
filter{
if[type]=="java-err"{
grok{
match=>{"m..
分类：
其他好文 时间：
2016-04-19 20:27:01
阅读次数：
2759
input{
file{
type=>"java-err"
path=>"/fsmeeting/tomcat-service/logs/catalina.out"
tags=>"java-err"
codec=>multiline{
pattern=>"^%{TIMESTAMP_ISO8601}"
negate=>true
what=>"previous"
}
}
}
filter{
if[type]=="java-err"{
grok{
mat..
分类：
其他好文 时间：
2016-04-14 18:09:14
阅读次数：
526
