该压缩包内包含以下文件： 1.install_java.txt 配置java环境，logstash使用 2.es.txt 三节点的es集群 3.filebeat.txt 获取日志输出到kafka集群 4.install_zookeeper_cluster.txt zk集群 5.install_kaf ...
分类：
其他好文 时间：
2020-05-08 18:07:38
阅读次数：
99
ELK架构日志处理逻辑：1、业务层Filebeat安装时会自动获取主机运行站点域名及环境信息新增channel及env标签，并将channel的值作为kafka的topic信息2、Kafka收到Filebeat的新增字段及Topic信息，自动创建Topic信息，以等待logstash消费3、Logstash根据脚本自动生成input及output配置这里的topic一定和filebeat的chan
分类：
其他好文 时间：
2020-05-05 21:56:19
阅读次数：
81
ELK是由 Elasticsearch、Logstash和Kibana 三部分组件组成。 Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具， ...
分类：
其他好文 时间：
2020-05-04 21:07:14
阅读次数：
72
背景 线上的logstash总是莫名其妙的挂了，我打算写一个定时任务，一分钟去检查一次logstash进程，不存在时就把它启动 步骤 1. 编写检测启动脚本 1. 让cron定时来调用检测启动脚本 1、编写脚本 第一次完成是这个样子： !/usr/bin/env bash pid_blog= if ...
分类：
其他好文 时间：
2020-05-02 22:59:02
阅读次数：
79
原文地址： 先认识几个东西： 1、Elasticsearch ： 开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。 2、Logstash ： 完全开源的工具，对日志进行收集、分析，并将其存储供以后使用（如，搜 ...
分类：
其他好文 时间：
2020-05-01 16:48:36
阅读次数：
89
一、将Linux系统日志通过Rsyslog输出到syslog服务器 Rsyslog是linux系统下高速的日志收集处理服务，它具有高性能、安全可靠和模块化设计的特点，能够接收各种来源的日志输入（例如：file，tcp，udp，uxsock等），并通过处理后将结果输出的不同的目的地（例如：mysql， ...
分类：
系统相关 时间：
2020-04-26 12:38:28
阅读次数：
80
1、logstash简介? logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成... ...
分类：
其他好文 时间：
2020-04-24 01:35:41
阅读次数：
57
最近公司在使用elasticsearch，使用的是6.5版本的。其中有一个需求就是需要把数据库已有的数据同步到elasticsearch中来，调研了几种方案。 logstash，elasticsearch-jdbc，自己实现。 暂时采用的是elasticsearch-jdbc，但是，同步的过程中，出 ...
分类：
数据库 时间：
2020-04-23 23:29:23
阅读次数：
297
作者：万能付博 链接：Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat) Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat) ELK是由 Elasticsearch、Logst ...
分类：
其他好文 时间：
2020-04-20 21:40:54
阅读次数：
110
Elasticsearch 6.4.3 logstash 6.4.3 及 ik 6.4.3 中文分词器下载 elasticsearch-6.4.3.tar.gz logstash-6.4.3.tar.gz elasticsearch-analysis-ik-6.4.3.zip 下载链接 链接：htt ...
分类：
其他好文 时间：
2020-04-19 17:36:26
阅读次数：
200
