1.查询镜像 docker search filebeat 2.拉取镜像 我此处选择的是prima/filebeat docker pull prima/filebeat 3.创建配置文件 ###################### Filebeat Configuration Example # ...
分类:
其他好文 时间:
2019-04-27 23:59:03
阅读次数:
850
1 介绍组件 Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读)。 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 ElasticSear ...
分类:
其他好文 时间:
2019-04-09 20:55:27
阅读次数:
221
经反馈,新部署的服务器上filebeat占用的cpu过高,且内存只增不减。 而据我了解filebeat非常轻量级,正常情况下占用的资源几乎都能忽略不计,所以怀疑是filebeat本身出了问题。 第一时间查看filebeat日志(默认路径/var/log/filebeat/filebeat),发现有大 ...
分类:
其他好文 时间:
2019-04-09 20:32:03
阅读次数:
691
#安装elasticsearch-5.3.1.tar.gz(单节点安装) tar xf elasticsearch-5.3.1.tar.gz cd elasticsearch-5.3.1 vim config/elasticsearch.yml #修改配置文件 path.data: /data/el ...
分类:
其他好文 时间:
2019-04-03 10:43:54
阅读次数:
144
[TOC] elk简介 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logst ...
分类:
其他好文 时间:
2019-03-25 01:20:31
阅读次数:
393
Filebeat的配置文件是/etc/filebeat/filebeat.yml,遵循YAML语法。具体可以配置如下几个项目: Filebeat Output Shipper Logging(可选) Run Options(可选) 这个Blog主要讲解Filebeat的配置部分,其他部分后续会有新的 ...
分类:
其他好文 时间:
2019-03-13 16:46:41
阅读次数:
351
1,在官网下载filebeat官网下载地址:https://www.elastic.co/cn/downloads2,下载kafka下载地址:http://archive.apache.org/dist/kafka/3,下载完kafka之后,直接解压即可wget-chttp://archive.apache.org/dist/kafka/2.1.1/kafka_2.11-2.1.1.tgztar-
分类:
其他好文 时间:
2019-03-11 18:53:25
阅读次数:
324
filebeat是一个轻量的日志收集工具,全套使用go语言开发。 我目前遇到的问题是,在收集的时候需要对数据进行采样,采样比和采样形式要灵活,因为可能在多个项目会使用到这个日志收集功能。刚开始我仔细研究filebeat的配置,我感觉他自身应该带有采集需求,然而并没有。于是我想着去修改他的源码,这样也很方便。然而这个方案不可行,因为这是一个开源项目,后期
分类:
其他好文 时间:
2019-03-09 23:36:14
阅读次数:
188
Filebeat简介 轻量级的日志传输工具,是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放。 filebeat 安装 #deb ...
分类:
其他好文 时间:
2019-03-07 18:04:33
阅读次数:
409
先贴一下官方文档https://www.elastic.co/guide/en/beats/filebeat/6.6/filebeat-installation.html 我本次使用rpm的方式安装,与官方文档略有差异,记录如下: 配置input 安装成功之后,配置文件的路经在/etc/filebe ...
分类:
其他好文 时间:
2019-03-07 15:49:17
阅读次数:
333