0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-08-01 12:38:39
阅读次数：
93
0、题记本文建立在干货|LogstashGrok数据结构化ETL实战上，并专注于在Grok中使用自定义正则表达式。有时Logstash没有我们需要的模式。幸运的是，我们有正则表达式库：Oniguruma。Oniguruma是一个灵活的正则表达式库。它包含多种语言的不同正则表达式实现的特性。Github地址：https://github.com/kkos/oniguruma1、基础再认知Logsta
分类：
其他好文 时间：
2020-07-31 01:08:58
阅读次数：
76
0、题记日志分析是ELK最常用、最核心业务场景之一。如果你正在使用ElasticStack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合你。Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈，夯实基础认知。ELKStack是三个开源项目
分类：
其他好文 时间：
2020-07-31 01:06:57
阅读次数：
77
0、问题引出经群讨论，建议从以下几个方面展开，大家有好的想法，也欢迎留言交流。1、可视化展示ELK效果如果条件允许，demo的内容是：通过logstash同步日志或数据库（oracle、mysql）表的数据到Elasticsearch，然后通过kibana进行可视化。1通过Canvas对数据进行可视化布局与展现，可以实现非常酷炫的大屏展示效果。2展示实时数据的数据量。3展示你定的几个维度的数据信息
分类：
其他好文 时间：
2020-07-31 01:05:26
阅读次数：
101
现在的logstash版本，插件都是自带的，所以不需要安装ruby和logstash，如果需要的插件没有在安装 安装配置Ruby 我的CentOS的版本比较低，是CentOS6.6的，直接通过yum安装的Ruby的版本比较低，导致安装的时候会出现很多问题（网上的很多解决方案写的很高档，但是都没有解决 ...
分类：
其他好文 时间：
2020-07-28 22:50:30
阅读次数：
105
安装步骤(6.8.5使用x-pack ssl方式) 1.1 环境部署 数据库部署 节点 ip 角色 Host01 192.168.1.134 Host02 192.168.1.135 Host03 192.168.1.85 1.2 安装java 安装java，确保版本在1.8以上 [root@loc ...
分类：
其他好文 时间：
2020-07-28 22:19:56
阅读次数：
202
配置日志收集系统 ELK需求背景：业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志开发人员排查问题，需要到服务器上查日志，不方便运营人员需要一些数据，需要我们运维到服务器上分析日志为什么要用到ELK：1.一般我们需要进行日志分析场景：直接 ...
分类：
其他好文 时间：
2020-07-27 15:45:28
阅读次数：
63
input { stdin { } jdbc { # mysql 数据库链接 jdbc_connection_string => "jdbc:mysql:localhost/database?characterEncoding=utf8" # 用户名和密码 jdbc_user => "xxx" jd ...
分类：
其他好文 时间：
2020-07-26 19:44:44
阅读次数：
109
说起ELK相信大家都不陌生，他可不是一个软件，是三个软件 logstash，elasticsearch，Kibana 组成的可以打造大规模日志实时处理的系统。 Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存储起来，方便业务方检索查 ...
分类：
其他好文 时间：
2020-07-26 15:54:23
阅读次数：
71
下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch ELK的主版本号需要统一：ElasticSearch-5.5 + Logstash-5.5 + Kibana-5.5 安装ElasticSearch 在安装 El ...
分类：
其他好文 时间：
2020-07-26 15:38:49
阅读次数：
69
