filebeat.inputs: - type: docker containers.ids: - 'b77cea34ab4512727a1ae5e14073640c286dcd13d030cb114a9e6befead05a3b' setup.kibana: hosts: ["xx.xx.xxx. ...
分类：
其他好文 时间：
2020-03-17 10:16:39
阅读次数：
164
功能远超Sqoop、DataX、Flume、Logatash、Filebeat等采集工具深知其他组件的局限性，才能彰显DBus的优越感当前有很多数据采集工具（Sqoop、DataX、Flume、Logatash、Filebeat等），他们或多或少都存在一些局限性。一个共性问题是缺乏统一的数据源端管控，所以也就无法找到统一的数据入口，那后续处理元数据或者血缘分析会异常困难。除此之外，现有各种数据采集
分类：
数据库 时间：
2020-03-05 19:28:19
阅读次数：
110
es做日志存储 filebeat做日志收集 kibana做显示 步骤：1，wget filebeat，解压； 2.filebeat.yml+ fields.yml ，前者配置日志的收集配置; filebeat.yml，里面的9202是跳板机的es的开放端口 filebeat.inputs:- typ ...
分类：
其他好文 时间：
2020-03-04 09:36:36
阅读次数：
86
官方地址：https://github.com/elastic/helm-charts 我用的是helm3安装 1.安装elasticsearch kubectl create ns logs helm repo add elastic https://helm.elastic.co helm pu ...
分类：
其他好文 时间：
2020-02-26 16:51:04
阅读次数：
307
功能远超Sqoop、DataX、Flume、Logatash、Filebeat等采集工具 注：由于文章篇幅有限，完整文档可扫免费获取 深知其他组件的局限性，才能彰显DBus的优越感 当前有很多数据采集工具（Sqoop、DataX、Flume、Logatash、Filebeat等），他们或多或少都存在 ...
分类：
数据库 时间：
2020-02-25 19:43:18
阅读次数：
115
ElasticStack从2019年1月29日的6.6.0版本的开始，引入了索引生命周期管理的功能，新版本的Filebeat则默认的配置开启了ILM，导致索引的命名规则被ILM策略控制。 加上这个配置就好了： filebeat 配置关闭 ILM 即可解决Index Pattern不生效的问题 具体配 ...
分类：
其他好文 时间：
2020-02-23 18:34:03
阅读次数：
481
```YAML#=========================== Filebeat prospectors =============================filebeat.prospectors:- type: log #指定文件的输入类型log(默认)或者stdin。 enabl... ...
分类：
其他好文 时间：
2020-02-23 15:02:30
阅读次数：
83
分类: "ELK" undefined 第1章 ELK简介 第2章: 传统日志分析需求 第3章: 日志收集分类 第4章 准备ES单机环境 第6章: filebeat收集Nginx的json格式日志 1.上面方案不完善的地方 2.理想中的情况 3.目标 4.修改nginx配置文件使日志转换成json ...
分类：
其他好文 时间：
2020-02-18 14:35:25
阅读次数：
89
需求1.开发人员不能登录线上服务器查看日志2.各个系统都有日志，日志分散难以查找3.日志数据量大，查找慢，数据不够实时解决办法：部署ELK平台ELK介绍ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志
分类：
其他好文 时间：
2020-02-18 09:40:00
阅读次数：
367
故障现象：执行kubectlcreate-ffilebeat.yml报错如下：error:unabletorecognize"filebeat.yml":nomatchesforkind"DaemonSet"inversion"extensions/v1beta1"解决办法：将yml配置文件内的api接口修改为apps/v1，导致原因为之间使用的kubernetes版本是1.14.x版本，1.16
分类：
其他好文 时间：
2020-02-05 09:34:08
阅读次数：
718
