海量日志下的日志架构优化：filebeat+logstash+kafka+ELK
分类：
其他好文 时间：
2018-12-24 00:19:25
阅读次数：
506
Nginx访问日志 这里补充下Nginx访问日志使用的说明。一般在nginx.conf主配置文件里需要定义一种格式： 上面的格式我是基于默认的加了一个 。 然后子配置使用： 即可。 Filebeat采集日志数据到ElasticSearch 配置： 配置详情： 配置说明： filebeat.prosp ...
分类：
其他好文 时间：
2018-12-22 14:55:21
阅读次数：
178
Filebeat是一个轻量级的托运人，用于转发和集中日志数据。Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。以下是Filebeat的工作原理：启动Filebeat时，它会启动一个或多个输入，这些输入将查找您为日志数据指定的位置。对于Filebeat找到的每个日志，Filebeat启动一个收集器。
分类：
其他好文 时间：
2018-12-21 13:04:27
阅读次数：
251
ELK之filebeat收集多个服务日志并自定义索引
分类：
其他好文 时间：
2018-12-17 14:38:55
阅读次数：
1502
logstash配合filebeat监控tomcat日志 环境：logstash版本：5.0.1&&filebeat 5.0.1 ABC为三台服务器。保证彼此tcp能够相互连接。 Index服务器A － 接收BC两台服务器的tomcat日志 /var/tomcat/logs/ca**.out 此服务 ...
分类：
其他好文 时间：
2018-12-08 11:16:19
阅读次数：
388
一、环境准备本次我们采用yum官方仓库进行安装，之前采用rpm包安装的文档大家请看http://blog.51cto.com/wzlinux/2175836。1、软件版本Filebeat6.5.1Logstash6.5.1Elasticsearch6.5.1Kibana6.5.1JDK1.8.0_1812、服务器准备IP系统角色172.18.8.200CentOS7.5MinimalElastic
分类：
其他好文 时间：
2018-12-06 23:25:46
阅读次数：
348
#环境 centos 7.4 ,ELK 6 ,单节点 #服务端 Logstash 收集,过滤 Elasticsearch 存储,索引日志 Kibana 可视化 #客户端 filebeat 监控、转发,作为agent filebeat-->Logstash-->Elasticsearch-->Kiba ...
分类：
其他好文 时间：
2018-12-04 13:19:13
阅读次数：
302
filebeat.yml的配置：filebeat.inputs:-type:logpaths:-/tmp/access.logtags:["nginx-test"]fields:type:"nginx-test"log_topic:"nginxmessages"fields_under_root:trueprocessors:-drop_fields:fields:["beat","input",
分类：
其他好文 时间：
2018-11-29 12:36:00
阅读次数：
462
filebeat不用多说就是扫描本地磁盘日志文件，读取文件内容然后远程传输。 docker容器日志默认记录方式为 json-file 就是将日志以json格式记录在磁盘上 格式如下： { "log": "2018-11-16 01:24:30.372 INFO [demo1,786a42d3b893 ...
分类：
其他好文 时间：
2018-11-23 12:34:35
阅读次数：
251
1.ELK简介ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有
分类：
其他好文 时间：
2018-11-22 00:24:48
阅读次数：
189
