目前在大规模日志处理平台中常见的日志采集器可以采用Logstash或Flume。这两种日志采集器架构设计理念基本相似，都采用采集-过滤处理-输出的方式。下面对这两种采集器Syslog接收性能做个简单测试，供大家参考。 ...
分类：
Web程序 时间：
2018-11-01 15:09:25
阅读次数：
194
Elasticsearch是一款优秀的、被广泛使用的全文搜索引擎, 其与Logstash、Kibana组成的ELK技术栈在数据采集、数据分析、数据可视化方面有强大的性能表现. 从这里开始学习ES吧?? ...
分类：
其他好文 时间：
2018-11-01 11:51:07
阅读次数：
264
ELK搭建实时日志分析平台 导言 ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成，ELK平台可以同时实现日志收集、日志搜索和日志分析的功能。对于生产环境中海量日志信息的分析处理无疑不是一个好的解决方案。 官方网站：https://www.elastic.co/ ...
分类：
其他好文 时间：
2018-10-31 15:35:34
阅读次数：
192
毫无疑问，项目里日志是必不可少的，在众多日志框架里ELK可以说是最好的选择之一，对于微服务项目来说也是一样。 之前写过关于ELK搭建的文章，所以这篇也就不再介绍了，本篇将会使用NLog搭配ElasticSearch和Kibana构建日志框架，本来是有Logstash的，但是接入Logstash后日志 ...
分类：
Web程序 时间：
2018-10-28 22:08:02
阅读次数：
571
一、使用Logstash使用jdbc从MySQL读取数据操作 1.1 安装jdbc插件 jdbc默认已安装，如果没安装使用logstash-plugin安装即可（logstash-plugin在logstash的bin目录下）： 1.2 下载mysql jdbc驱动 mysql最新版是8.0，但使用 ...
分类：
数据库 时间：
2018-10-26 17:42:46
阅读次数：
455
logstash解析json数组是一种常见的需求，我以网上一组数据为例来描述 我们的数据test.json内容如下：(此处我linux上的json文本需要是compact的) 为了方便看清楚内容，我们format后查看： 我们可以看到 bean 字段下是一个json数组，解析这种json数组，我们需 ...
分类：
Web程序 时间：
2018-10-22 17:59:15
阅读次数：
862
在某些情况下，有些日志文本文件类json，但它的是单引号，具体格式如下，我们需要根据下列日志数据，获取正确的字段和字段类型 此时我们如果当json直接用 "logstash Json filter plugin" 来解析会如下报错 此处我认为简单的做法是替换单引号为双引号，替换过程应用了 "logs ...
分类：
Web程序 时间：
2018-10-22 17:56:06
阅读次数：
951
一、场景：此文以一个简单的json字符串文件为例，描述如何用logstash解析嵌套的json，并删除其中的某些字段 我们在linux中test.json的内容如下： 为了方便查看，formate后，为如下格式 二、目的： 我们需要解析这个json，并且删除json中 "src_ip" 字段和 "h ...
分类：
Web程序 时间：
2018-10-22 17:55:47
阅读次数：
2008
安装最新版本，安装6.*版本 先提示一个重要的事情，kibana新版本不需要安装Sense, 官方的是老版的Kibana才需要，我们现在用devTool http://localhost:5601/app/kibana#/dev_tools/console?_g=() 由于官方文档有点久远，造成了我 ...
分类：
其他好文 时间：
2018-10-22 14:43:26
阅读次数：
136
