前言 "ELK"是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsear ...
分类：
其他好文 时间：
2020-05-09 01:25:53
阅读次数：
79
注:本博文只用于实现简单群集配置，更深入的资料可以参考官方文档Elasticsearch官方文档kibana官方文档一、准备工作环境如下系统IP服务Centos7.3192.168.171.131ES1、logstash、ES-Head、logstash、kibanaCentos7.3192.168.171.134ES2Centos7.3192.168.171.135ES31、配置域名解析[roo
分类：
其他好文 时间：
2020-05-09 01:21:58
阅读次数：
67
该压缩包内包含以下文件： 1.install_java.txt 配置java环境，logstash使用 2.es.txt 三节点的es集群 3.filebeat.txt 获取日志输出到kafka集群 4.install_zookeeper_cluster.txt zk集群 5.install_kaf ...
分类：
其他好文 时间：
2020-05-08 18:07:38
阅读次数：
99
ELK架构日志处理逻辑：1、业务层Filebeat安装时会自动获取主机运行站点域名及环境信息新增channel及env标签，并将channel的值作为kafka的topic信息2、Kafka收到Filebeat的新增字段及Topic信息，自动创建Topic信息，以等待logstash消费3、Logstash根据脚本自动生成input及output配置这里的topic一定和filebeat的chan
分类：
其他好文 时间：
2020-05-05 21:56:19
阅读次数：
81
ELK是由 Elasticsearch、Logstash和Kibana 三部分组件组成。 Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具， ...
分类：
其他好文 时间：
2020-05-04 21:07:14
阅读次数：
72
背景 线上的logstash总是莫名其妙的挂了，我打算写一个定时任务，一分钟去检查一次logstash进程，不存在时就把它启动 步骤 1. 编写检测启动脚本 1. 让cron定时来调用检测启动脚本 1、编写脚本 第一次完成是这个样子： !/usr/bin/env bash pid_blog= if ...
分类：
其他好文 时间：
2020-05-02 22:59:02
阅读次数：
79
原文地址： 先认识几个东西： 1、Elasticsearch ： 开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。 2、Logstash ： 完全开源的工具，对日志进行收集、分析，并将其存储供以后使用（如，搜 ...
分类：
其他好文 时间：
2020-05-01 16:48:36
阅读次数：
89
1、logstash简介? logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成... ...
分类：
其他好文 时间：
2020-04-24 01:35:41
阅读次数：
57
最近公司在使用elasticsearch，使用的是6.5版本的。其中有一个需求就是需要把数据库已有的数据同步到elasticsearch中来，调研了几种方案。 logstash，elasticsearch-jdbc，自己实现。 暂时采用的是elasticsearch-jdbc，但是，同步的过程中，出 ...
分类：
数据库 时间：
2020-04-23 23:29:23
阅读次数：
297
作者：万能付博 链接：Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat) Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat) ELK是由 Elasticsearch、Logst ...
分类：
其他好文 时间：
2020-04-20 21:40:54
阅读次数：
110
