1 介绍组件 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读）。 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 ElasticSear ...
分类：
其他好文 时间：
2019-04-09 20:55:27
阅读次数：
221
经反馈，新部署的服务器上filebeat占用的cpu过高，且内存只增不减。 而据我了解filebeat非常轻量级，正常情况下占用的资源几乎都能忽略不计，所以怀疑是filebeat本身出了问题。 第一时间查看filebeat日志（默认路径/var/log/filebeat/filebeat），发现有大 ...
分类：
其他好文 时间：
2019-04-09 20:32:03
阅读次数：
691
#安装elasticsearch-5.3.1.tar.gz(单节点安装) tar xf elasticsearch-5.3.1.tar.gz cd elasticsearch-5.3.1 vim config/elasticsearch.yml #修改配置文件 path.data: /data/el ...
分类：
其他好文 时间：
2019-04-03 10:43:54
阅读次数：
144
[TOC] elk简介 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logst ...
分类：
其他好文 时间：
2019-03-25 01:20:31
阅读次数：
393
Filebeat的配置文件是/etc/filebeat/filebeat.yml，遵循YAML语法。具体可以配置如下几个项目： Filebeat Output Shipper Logging(可选) Run Options（可选） 这个Blog主要讲解Filebeat的配置部分，其他部分后续会有新的 ...
分类：
其他好文 时间：
2019-03-13 16:46:41
阅读次数：
351
1，在官网下载filebeat官网下载地址：https://www.elastic.co/cn/downloads2，下载kafka下载地址：http://archive.apache.org/dist/kafka/3，下载完kafka之后，直接解压即可wget-chttp://archive.apache.org/dist/kafka/2.1.1/kafka_2.11-2.1.1.tgztar-
分类：
其他好文 时间：
2019-03-11 18:53:25
阅读次数：
324
filebeat是一个轻量的日志收集工具，全套使用go语言开发。 我目前遇到的问题是，在收集的时候需要对数据进行采样，采样比和采样形式要灵活，因为可能在多个项目会使用到这个日志收集功能。刚开始我仔细研究filebeat的配置，我感觉他自身应该带有采集需求，然而并没有。于是我想着去修改他的源码，这样也很方便。然而这个方案不可行，因为这是一个开源项目，后期
分类：
其他好文 时间：
2019-03-09 23:36:14
阅读次数：
188
Filebeat简介 轻量级的日志传输工具，是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。 filebeat 安装 #deb ...
分类：
其他好文 时间：
2019-03-07 18:04:33
阅读次数：
409
先贴一下官方文档https://www.elastic.co/guide/en/beats/filebeat/6.6/filebeat-installation.html 我本次使用rpm的方式安装,与官方文档略有差异,记录如下: 配置input 安装成功之后,配置文件的路经在/etc/filebe ...
分类：
其他好文 时间：
2019-03-07 15:49:17
阅读次数：
333
#（1）filebeat下载https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.0-linux-x86_64.tar.gz#（2）构建filebeat镜像1）准备dockerfile文件#catdockerfileFROMdocker.io/centosWORKDIR/usr/localCOPYfilebeat-5.
分类：
其他好文 时间：
2019-03-07 10:27:46
阅读次数：
340
