1.软件安装 jyapp用户登录系统，下载二进制安装包http://op.jieyue.com/softdown/ELK/filebeat-6.3.2-linux-x86_64-nginx-prode.tar.gz 2.nginx 日志修改 第一步 注释以前的日志，添加json格式的日志 vi /u ...
分类：
其他好文 时间：
2019-12-26 12:47:50
阅读次数：
76
本文的内容 如何用filebeat kafka es做一个好用，好管理的日志收集工具 放弃logstash，使用elastic pipeline gunicron日志格式与filebeat/es配置 flask日志格式与异常日志采集与filebeat/es配置 以上的配置 概况 我有一个HTTP请求 ...
分类：
Web程序 时间：
2019-12-24 18:55:28
阅读次数：
192
官方文档地址 Filebeat： https://www.elastic.co/cn/products/beats/filebeat https://www.elastic.co/guide/en/beats/filebeat/7.1/index.html Logstash： https://www ...
分类：
其他好文 时间：
2019-12-22 20:25:17
阅读次数：
129
学习的地方：配置文件中预先处理字段数据的用法 通过Filebeat把日志传入到Elasticsearch Elastic Stack被称之为ELK (Elasticsearch，Logstash and Kibana)。由于beats的加入，现在很多人把ELK说成为ELKB。这里的B就是代表Beat ...
分类：
其他好文 时间：
2019-12-21 14:02:43
阅读次数：
609
利用ingest node所提供的Pipeline帮我们对数据进行处理。 在Elasticsearch中的配置文件elasticsearch.yml文件中配置： ingest node提供了在对文档建立索引之前对其进行预处理的功能： 接收节点拦截索引或批量API请求 运用转换（transformat ...
分类：
其他好文 时间：
2019-12-21 11:58:42
阅读次数：
183
[toc] 一、ELK简介 在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的Filebeat+ELK开源实时日志分析平台的记录过程，有不对的地方还望指出。 简单介绍： 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、 ...
分类：
系统相关 时间：
2019-12-20 18:17:12
阅读次数：
83
正则表达式就是字符串的匹配规则，在多数编程语言里都有相应的支持，python里对应的模块是re 常用的表达式规则 '.' 默认匹配除\n之外的任意一个字符，若指定flag DOTALL,则匹配任意字符，包括换行 '^' 匹配字符开头，若指定flags MULTILINE,这种也可以匹配上(r"^a" ...
分类：
其他好文 时间：
2019-12-20 01:08:42
阅读次数：
67
配置主机hosts文件 说明： 192.168.75.20主机上配置filebeat，logstash和kibana 192.168.75.22主机上配置elasticsearch instances.yml文件内容 存储路径：/usr/share/elasticsearch 生成证书 es配置 设 ...
分类：
Web程序 时间：
2019-12-18 19:05:10
阅读次数：
430
文档在很久之前写的了，这里留个记录，我的码云地址 点击查看 ...
分类：
其他好文 时间：
2019-12-17 00:31:58
阅读次数：
95
ELK 是现阶段众多企业单位都在使用的一种日志分析系统，它能够方便的为我们收集你想要的日志并且展示出来 ELK是Elasticsearch、Logstash、Kibana的简称，这三者都是开源软件，通常配合使用。 1. Elasticsearch -->存储数据 是一个实时的分布式搜索和分析引擎，它 ...
分类：
其他好文 时间：
2019-12-16 10:02:25
阅读次数：
1383
