用到的软件：zookeeper、kafka、logstash（6.3.2版本）、ES（6.3.2版本）、Kibana（6.3.2版本）。具体安装步骤不在此说明，基本都是下载解压，改一下配置文件，即可使用。（以下所述均在Windows下）1、zookeeper：kafka中自带zookeeper，可以不用装zookeeper，如果想自己另装，需配置环境变量，如下：ZOOKEEPER_HOME=>
Kubernetes上部署efk日志收集系统环境版本：OS：CentOS7.4(1804)Kubernetes：1.11.3Elasticsearch：5.4.0Fuentd-elasticsearch：2.0.2Kibana：6.4.0本地镜像仓库：192.168.22.8NFS-Server：192.168.22.8部署顺序：Kibana->NFS动态存储->Elasticsear
分类：
Web程序 时间：
2018-11-28 15:49:44
阅读次数：
215
第1节结构化搜索_IT技术论坛案例背景介绍第2节结构化搜索_在案例中实战使用termfilter来搜索数据第3节结构化搜索_filter执行原理深度剖析（bitset机制与caching机制）第4节结构化搜索_在案例中实战基于bool组合多个filter条件来搜索数据第5节结构化搜索_在案例中实战使 ...
分类：
其他好文 时间：
2018-11-28 12:34:04
阅读次数：
508
下载地址 https://artifacts.elastic.co/downloads/logstash/logstash-5.6.8.zip 下载后解压，测试 从文件中读取配置，然后连接mysql然后输出到es 新建 mysqletc 文件夹 测试 ...
分类：
其他好文 时间：
2018-11-25 23:59:14
阅读次数：
278
一、基础类工具 1、Head插件 ES集群状态查看、索引数据查看、ES DSL实现（增、删、改、查），比较适用json串的格式化 参考地址：http://mobz.github.io/elasticsearch-head/ 2、kibana工具 除了支持各种数据的可视化之外，最重要的是：支持Dev ...
分类：
其他好文 时间：
2018-11-23 11:17:56
阅读次数：
213
首先，安装java环境，java8以上版本。echo$JAVA_HOME/home/admin/java/jdk1.8.0_131es安装不能使用root用户启动，所以要新建一个用户，赋予用户安装目录权限然后去官网下载es最新版本，我这里用的是es6.2.3和es6.5.0，其中6.5.0是最新的稳定版。解压安装后，进入配置文件目录，修改配置文件。cdelasticsearch-6.5.0/con
分类：
其他好文 时间：
2018-11-22 21:00:22
阅读次数：
250
做实验时需要了解Elasticsearch集群如何操作？通过使用docker-compose可以批量创建docker容器，启动ES集群。 先配置文件docker-compose.yml文件如下： 说明： 运行docker-compose up即可启动Elasticsearch集群和kibana。 d ...
分类：
其他好文 时间：
2018-11-22 18:13:13
阅读次数：
506
1.ELK简介ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有
分类：
其他好文 时间：
2018-11-22 00:24:48
阅读次数：
189
一、Filebeat介绍 Filebeat是一种轻量型，开源的日志采集工具，安装于客户端中来收集指定的日志目录，将收集的日志发送到logstash、es、redis、kafka中，来代替logstash的数据采集方案，logstash在运行过程中相当耗费服务器资源，就算没有在收集日志一样会对CPU， ...
分类：
其他好文 时间：
2018-11-21 16:01:10
阅读次数：
147
返回的串 {"took":278,"timed_out":false,"_shards":{"total":21,"successful":21,"failed":0},"hits":{"total":3,"max_score":6.685612,"hits":[{"_index":"logstas ...
分类：
其他好文 时间：
2018-11-19 11:07:51
阅读次数：
179
