场景需求 在使用ELK对日志进行收集的时候，如果需要对数据进行存档，可以考虑使用数据库的方式。为了便于查询，可以同时写一份数据到Elasticsearch 中。 环境准备 CentOS7系统： 192.168.20.60 node1 Kibana ES Logstash Nginx 192.168. ...
分类：
数据库 时间：
2019-04-01 16:59:35
阅读次数：
218
查看官方文档 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html 找个路径 /home/data/logstash/logstash/config 创建 vi file.config input { fi ...
分类：
其他好文 时间：
2019-04-01 14:12:00
阅读次数：
439
[TOC] elk简介 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logst ...
分类：
其他好文 时间：
2019-03-25 01:20:31
阅读次数：
393
一、Java API操作 1. API基本操作 2. 条件查询QueryBuilder 3. 映射相关操作 二、IK分词器 1. IK分词器的安装 2. IK分词器的使用 三、Logstash 1. Logstash简介 2. Logstash 安装 3. Logstash 配置 四、Kibana ...
分类：
其他好文 时间：
2019-03-24 13:50:30
阅读次数：
181
配置文件本身非常脆弱！所以修改配置文件自然会引入部署失败的风险。如果能够对配置文件进行自动化测试将会极大的降低这种风险。本文将介绍一个可以自动化测试 logstash 配置文件的工具，让大家可以像写单元测试用例一样为 logstash 配置文件创建测试 case，并以快速迭代的方式变更 logsta ...
分类：
其他好文 时间：
2019-03-22 09:19:33
阅读次数：
229
一个logstash很容易通过http打断成两个logstash实现跨服务器或者跨平台间数据同步，比如原来的流程是 logstash: nginx log -> kafka 打断成两个是 logstash1: nginx log -> http out logstash2: http in ->ka ...
分类：
Web程序 时间：
2019-03-20 01:15:24
阅读次数：
245
ELK = ElasticSearch + Logstash + Kibana Elasticsearch：后台分布式存储以及全文检索 Logstash : 日志加工、“搬运工” Kibana : 数据可视化展示 ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。 三者相互 ...
分类：
其他好文 时间：
2019-03-08 17:16:03
阅读次数：
176
1. ES集群安装 准备1台虚拟机 部署elasticsearch第一个节点 访问9200端口查看是否安装成功 1ELK是日志分析平台，不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写，ELK分别代表： Elasticsearch:负责日志检索和储存 Logstash:负责日志的收集和分 ...
分类：
其他好文 时间：
2019-03-08 16:40:16
阅读次数：
237
