在某些情况下，有些日志文本文件类json，但它的是单引号，具体格式如下，我们需要根据下列日志数据，获取正确的字段和字段类型 此时我们如果当json直接用 "logstash Json filter plugin" 来解析会如下报错 此处我认为简单的做法是替换单引号为双引号，替换过程应用了 "logs ...
分类：
Web程序 时间：
2018-10-22 17:56:06
阅读次数：
951
一、场景：此文以一个简单的json字符串文件为例，描述如何用logstash解析嵌套的json，并删除其中的某些字段 我们在linux中test.json的内容如下： 为了方便查看，formate后，为如下格式 二、目的： 我们需要解析这个json，并且删除json中 "src_ip" 字段和 "h ...
分类：
Web程序 时间：
2018-10-22 17:55:47
阅读次数：
2008
作为一个开发，总要时不时的帮运维排查问题、给运营导数据，而且也会担心自己开发的系统是否足够健壮，机器的性能是否都得到了发挥，哪些业务将会是瓶颈。总是需要分心去处理这些东西，怎么能写好代码，或许到了开发一套监控系统的时候了。 elk(Elasticsearch+Logstash+Kibana)是一套不 ...
分类：
其他好文 时间：
2018-10-19 14:15:07
阅读次数：
149
ELK环境搭建完整说明 ELK：ElasticSerach、Logstash、Kibana三款产品名称的首字母集合，用于日志的搜集和搜索。简单地理解为我们可以把服务端的日志（nginx、tomcat等）直接web化展示查看，十分方便。 本机环境说明： 系统：centos7.5 ElasticSera ...
分类：
其他好文 时间：
2018-10-10 21:59:47
阅读次数：
194
1，拉取docker registry 镜像 2，创建证书存放目录 3，生成CA证书Edit your /etc/ssl/openssl.cnf on the logstash host - add subjectAltName = IP:10.1.10.1 in [v3_ca] section.一 ...
分类：
其他好文 时间：
2018-10-10 19:23:53
阅读次数：
451
在工作中需要在elk中展示mysql的慢语句，以便于DBA每天查看并对比进行优化；mysql5.5，mysql5.6，mysql5.7的慢日志格式都不相同，根据自已的需要进行收集；mysql5.5日志样例：#Time:18091110:50:31#User@Host:osdb[osdb]@[172.25.14.78]#Query_time:12.597483Lock_time:0.000137Ro
分类：
数据库 时间：
2018-10-10 17:54:27
阅读次数：
316
ELK ELK目前主流的一种日志系统,过多的就不多介绍了 Filebeat收集日志,将收集的日志输出到kafka,避免网络问题丢失信息 kafka接收到日志消息后直接消费到Logstash Logstash将从kafka中的日志发往elasticsearch Kibana对elasticsearch ...
分类：
其他好文 时间：
2018-10-10 14:13:37
阅读次数：
294
logstash-01.conf input { beats { port => 5044 host => "0.0.0.0" type => "logs" codec => "json" } } filter{ if ( [type] == "nginx-access" ) { grok { ma ...
分类：
其他好文 时间：
2018-10-01 21:36:48
阅读次数：
418
环境条件： 系统版本：centos 6.8 logstash版本：6.3.2 redis版本：2.4 logstash input配置： input { redis { host => "172.16.73.33" #redis ip port => "52611" #redis 端口 passwo ...
分类：
其他好文 时间：
2018-10-01 14:09:57
阅读次数：
680
启用和禁用启用和禁用X-Pack功能默认情况下，所有X-Pack功能都被启用。您可以启用或禁用特定的X-Pack功能elasticsearch.yml，kibana.yml以及logstash.yml 配置文件。设置 描述xpack.graph.enabled 设置为false禁用X-Pack图形功 ...
分类：
其他好文 时间：
2018-10-01 11:58:37
阅读次数：
695
