前言 在前几篇关于 "ElasticSearch" 的文章中，简单的讲了下有关ElasticSearch的一些使用，这篇文章讲一下有关 ElasticSearch的一些理论知识以及自己的一些见解。 虽然本人是一个实战派，不太喜欢讲这些理论知识，因为这块可以查看官方文档，那里会写得非常详细，但是在使用 ...
分类：
其他好文 时间：
2019-12-24 23:30:39
阅读次数：
91
本文的内容 如何用filebeat kafka es做一个好用，好管理的日志收集工具 放弃logstash，使用elastic pipeline gunicron日志格式与filebeat/es配置 flask日志格式与异常日志采集与filebeat/es配置 以上的配置 概况 我有一个HTTP请求 ...
分类：
Web程序 时间：
2019-12-24 18:55:28
阅读次数：
192
Nginx错误日志https://coding.net/u/aminglinux/p/nginx/git/blob/master/log/error.mdNginx访问日志格式https://coding.net/u/aminglinux/p/nginx/git/blob/master/log/format.mdNginx的错误日志Nginx错误日志平时不用太关注，但是一旦出了问题，就需要借助错误
分类：
其他好文 时间：
2019-12-24 12:09:15
阅读次数：
68
一、ELK的组成ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成，其官方网站为https://www.elastic.co/cnElasticsearch：是个开源分布实时分析搜索引擎，建立在全文搜索引擎库ApacheLucens基础上，同时隐藏了ApacheLuces的复杂性。Elasticsearch将所有的功能打包成一个独立的服务，并提供了一个简单的RES
分类：
其他好文 时间：
2019-12-23 16:34:25
阅读次数：
122
官方文档地址 Filebeat： https://www.elastic.co/cn/products/beats/filebeat https://www.elastic.co/guide/en/beats/filebeat/7.1/index.html Logstash： https://www ...
分类：
其他好文 时间：
2019-12-22 20:25:17
阅读次数：
129
整体结构 详细信息 1.设置worker进程的用户，指的linux中的用户，会涉及到nginx操作目录或文件的一些权限，默认为nobody 2.worker进程工作数设置，一般来说CPU有几个，就设置几个，或者设置为N 1也行 3.nginx 日志级别 ，错误级别从左到右越来越大 4.设置nginx ...
分类：
其他好文 时间：
2019-12-22 16:19:33
阅读次数：
71
现象 这个问题是很早前在生产环境上部署elk集群的时候出现的，今天记录下，集群中的节点都有部署java环境，但是在logstash这个节点缺提示找不到java环境，我是在CentOS上用rpm包进行部署的，加到了系统服务system中。 启动logstash后，报错如下图： journalctl - ...
分类：
编程语言 时间：
2019-12-21 22:19:38
阅读次数：
216
学习的地方：配置文件中预先处理字段数据的用法 通过Filebeat把日志传入到Elasticsearch Elastic Stack被称之为ELK (Elasticsearch，Logstash and Kibana)。由于beats的加入，现在很多人把ELK说成为ELKB。这里的B就是代表Beat ...
分类：
其他好文 时间：
2019-12-21 14:02:43
阅读次数：
609
Logstash：Data转换，分析，提取，丰富及核心操作 Logstash plugins Logstash是一个非常容易进行扩张的框架。它可以对各种的数据进行分析处理。这依赖于目前提供的超过200多个plugin。 首先，我们来查看一下目前有哪些plugin： Input plugins 首先进 ...
分类：
其他好文 时间：
2019-12-21 13:56:35
阅读次数：
148
Logstash：多个配置文件（conf） 对于多个配置的处理方法，有多个处理方法： 多个pipeline 一个pipleline处理多个配置文件 一个pipeline含有一个逻辑的数据流，它从input接收数据，并把它们传入到队列里，经过worker的处理，最后输出到output。这个output ...
分类：
其他好文 时间：
2019-12-21 13:48:31
阅读次数：
113
