ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。
Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据
分类：
其他好文 时间：
2020-03-02 22:35:52
阅读次数：
414
一、ELK部署 1. 安装logstash 1. 解压logstash2.4.0 2. 在解压目录下新建config目录，新建logstash.conf(建配置文件) 3. 配置文件编解内容 4. 启动 nohup ./bin/logstash f config/logstash.conf log. ...
分类：
其他好文 时间：
2020-02-29 18:47:14
阅读次数：
184
利用 Log Pilot + Kafka+Elasticsearch + Kibana 搭建 kubernetes日志解决方案 1、前提条件 已有kafka、elk、k8s集群，这3套集群搭建网上资料很多，这里不写，IP规划如下所示： kafka集群 10.6.11.22:9092 10.6.11. ...
分类：
Web程序 时间：
2020-02-29 13:03:35
阅读次数：
412
运行环境 系统版本：CentOS Linux release 7.3.1611 (Core) 软件版本：Kibana 7.1.0 硬件要求：最低2核4GB 安装过程 1、源码安装JDK 1.1、从官网下载源码包 官网下载地址：https://www.oracle.com/technetwork/ja ...
分类：
系统相关 时间：
2020-02-28 15:39:30
阅读次数：
110
官方地址：https://github.com/elastic/helm-charts 我用的是helm3安装 1.安装elasticsearch kubectl create ns logs helm repo add elastic https://helm.elastic.co helm pu ...
分类：
其他好文 时间：
2020-02-26 16:51:04
阅读次数：
307
功能远超Sqoop、DataX、Flume、Logatash、Filebeat等采集工具 注：由于文章篇幅有限，完整文档可扫免费获取 深知其他组件的局限性，才能彰显DBus的优越感 当前有很多数据采集工具（Sqoop、DataX、Flume、Logatash、Filebeat等），他们或多或少都存在 ...
分类：
数据库 时间：
2020-02-25 19:43:18
阅读次数：
115
ElasticStack从2019年1月29日的6.6.0版本的开始，引入了索引生命周期管理的功能，新版本的Filebeat则默认的配置开启了ILM，导致索引的命名规则被ILM策略控制。 加上这个配置就好了： filebeat 配置关闭 ILM 即可解决Index Pattern不生效的问题 具体配 ...
分类：
其他好文 时间：
2020-02-23 18:34:03
阅读次数：
481
```YAML#=========================== Filebeat prospectors =============================filebeat.prospectors:- type: log #指定文件的输入类型log(默认)或者stdin。 enabl... ...
分类：
其他好文 时间：
2020-02-23 15:02:30
阅读次数：
83
Kibana 1. 解压了kibana的包，把文件都拷贝了出来，检查 usr share kibana的权限是root:root。以为在装的时候也可以使用root权限，但是在打包装完启动不了，报错 默认的kibana不输出日志， kibana的服务还没有日志，只能去/var/log/message里 ...
分类：
其他好文 时间：
2020-02-21 14:56:23
阅读次数：
81
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2020-02-20 22:15:37
阅读次数：
69
