filebeat配置列表 filebeat搜集的日志输出到redis elasticsearch配置文件 elasticsearch.yml logstash配置文件 filebaet-java-to-es.conf ...
分类：
其他好文 时间：
2018-07-05 19:38:34
阅读次数：
272
filebeat.modules:- module: kafka log: enabled: truefilebeat.prospectors:- type: log enabled: true paths: - /opt/logs/jetty/xxx.log fields: name: study ...
分类：
编程语言 时间：
2018-07-04 18:56:51
阅读次数：
376
修改cat /etc/ansible/hosts [test]10.27.235.108 host_name=test_host_name - hosts: test user: root gather_facts: true tasks: - name: rsync dir filebeat ho ...
分类：
其他好文 时间：
2018-07-04 17:31:24
阅读次数：
1157
参考： https://www.cnblogs.com/configure/p/7607302.html （kibana登陆认证[借用nginx转发]) https://www.elastic.co/cn/products(官网) https://zhuanlan.zhihu.com/p/23049700（filebeat) https://www.elastic.co/guide/en/logs
分类：
其他好文 时间：
2018-07-03 18:18:46
阅读次数：
425
配置FilebeatFilebeat模块为常见的日志格式提供了最快的入门体验。请参阅常见日志格式的快速入门以了解如何开始使用模块。如果您使用Filebeat模块开始使用，您可以跳过本节中的内容（包括剩余的入门步骤），并直接进入常见日志格式快速入门页面。要配置Filebeat，请编辑配置文件。对于rpm和deb，你会在找到配置文件/etc/filebeat/filebeat.yml。在Docker下
分类：
其他好文 时间：
2018-07-03 11:39:59
阅读次数：
265
ELK从5.6.3升级到6.3.0总结 由于6.3.0默认有es的监控功能，并且我们现在es总是有各种问题，原有的es开源插件head和HQ的监控都不够详细，所以决定升级es集群。我们目前es有5个node。我们的数据流向是filebeat logstash kafka logstash elast ...
分类：
其他好文 时间：
2018-06-29 14:09:54
阅读次数：
407
采用filebeat收集日志，日志文件频繁rotate，造成filebeat占用文件不释放，只要filebeat保持着被删除文件Open状态，操作系统就不释放磁盘空间，导致可用磁盘空间逐渐减小。使用lsof命令查看filebeat保持着的文件资源，可以发现许多被filebeat占用空间的失效文件（deleted）文件。deleted状态的文件没有释放，始终占据磁盘空间解决办法：查看filebeat
分类：
系统相关 时间：
2018-06-26 14:30:11
阅读次数：
285
1.实验环境： 使用8台CentOS主机，实现filebeat+redis+logstash+els集群(3台)+kibana来完成搜索日志相关内容，目标：filebeat来完成收集本机http数据，收集完成后发送给redis，redis主要是来避免数据量过大，logstash处理不过来，logstash是用来格式化数据，将收集来的数据格式化成指定格式，els集群是将格式化完
分类：
其他好文 时间：
2018-06-21 22:28:32
阅读次数：
226
filebeat收集日志文件如果日志文件重命名，是否会重新收集日志呢？答案:不会，因为收集日志是通过文件的inode的，linux中重名名，只是改变了文件名，文件在磁盘的存储位置即inode并未改变。filebeat中的data下面的registry可以查看filebeat读取的文件和offset。如重命名:mvtable_io_1.logtable_io_3.log变化重名后变为:filebea
分类：
其他好文 时间：
2018-06-18 16:08:30
阅读次数：
1089
本次构架图如下 说明： 1，前端服务器只启动轻量级日志收集工具filebeat（不需要JDK环境） 2，收集的日志不进过处理直接发送到redis消息队列 3，redis消息队列只是暂时存储日志数据，不需要进行持久化 4，logstash从redis消息队列读取数据并且按照一定规则进行过滤然后存储至e ...
分类：
其他好文 时间：
2018-06-18 12:40:32
阅读次数：
787
