如题，logstash之filter处理中括号包围的内容： 摘出来数组中的所有fields 感谢时总的大力支持！！！ 核心就是正则！ match => { "message" => "^\[%{GREEDYDATA:request}\]$" } ...
分类：
其他好文 时间：
2018-08-02 12:19:52
阅读次数：
825
说明: mariadb audit log是 mariadb 的审计日志 目的是把日志拆分成 tab 键分隔的字段 直接附上 fluentd 配置文件 fluentd 比 logstash 内存占用大大下降 分析同样的日志 logstash 占用700M, fluentd 占用35M 不过 cpu ...
分类：
数据库 时间：
2018-07-31 22:10:59
阅读次数：
389
消息队列作为分布式系统中重要的组件，可以解决应用耦合，异步消息，流量削锋等系列问题 实现高性能，高可用，可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场 ...
分类：
其他好文 时间：
2018-07-30 16:40:01
阅读次数：
145
ElasticSearch 下载地址： https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch 5.4.1.tar.gz 依赖环境： java 参考地址：https://www.elastic.co/downloads/e ...
分类：
其他好文 时间：
2018-07-29 23:30:54
阅读次数：
308
logstash解析系统日志的写法，output中的stdout为调试，生产可以移除input{redis{host=>"192.168.1.181"port=>6379db=>"0"data_type=>"list"key=>"815"}}filter{grok{match=>{"message"=>"%{SYSLOGLINE}"}}mutate{rem
分类：
其他好文 时间：
2018-07-27 16:58:20
阅读次数：
583
场景： 1） datasource->logstash->elasticsearch->kibana 2） datasource->filebeat->logstash-> elasticsearch->kibana 3） datasource->filebeat->logstash->redis/ ...
分类：
其他好文 时间：
2018-07-27 16:57:25
阅读次数：
355
我们使用的 mariadb, 用的这个审计工具 https://mariadb.com/kb/en/library/mariadb-audit-plugin/ 这个工具一点都不考虑后期对数据的处理, 因为他的日志是这样的 所以需要上 logstash 格式化一下 注意 !!! replace 那个地 ...
分类：
数据库 时间：
2018-07-27 13:12:19
阅读次数：
260
日志聚合与分析 日志聚合的作用就在于可以把来自不同服务器上不同应用程序产生的日志聚合起来，存放在单一的服务器上，方便进行搜索和分析。在日志聚合方面，已经有不少成熟的开源软件可以很好的满足需求。本文中要介绍的是 logstash，一个流行的事件和日志管理开源软件。logstash 采用了一种简单的处理 ...
分类：
其他好文 时间：
2018-07-26 19:53:11
阅读次数：
129
1、查看ES集群curl-uUSER:PASShttp://IP:9200/_cat/nodes?vcurl-uUSER:PASShttp://IP:9200/_cluster/health?pretty2、在ES中查看logstash个数ss-nt|grep`ifconfig|grep"inetadd"|grepBcast|awk‘{print$2}‘|awk-F":"‘{print$2}‘`:
分类：
其他好文 时间：
2018-07-26 15:02:25
阅读次数：
394
