需要通过 Kibana 导入Sample Data的电商数据。具体参考“2.2节-Kibana的安装与界面快速浏览” 需导入Movie测试数据，具体参考“2.4-Logstash安装与导入数据” #ignore_unavailable=true，可以忽略尝试访问不存在的索引“404_idx”导致的报 ...
分类：
其他好文 时间：
2020-12-31 12:29:54
阅读次数：
0
一、安装相应版本的logstash wget https://artifacts.elastic.co/downloads/beats/logstash/logstash-7.5.2-x86_64.rpm rpm -ivh logstash-7.5.2-x86_64.rpm 二、配置rsyslog接 ...
分类：
其他好文 时间：
2020-12-25 12:34:22
阅读次数：
0
参考图 简单说明 metrics以及log是组合监控的核心，log 的处理需要pg 实例配置相关的log 参数可以基于syslog 以及logstash 收集到 graylog，对于metrcis 的处理基于了telegraf（使用各类plugin，db，os。。。） 说明 pmm 也是一个不错的工 ...
分类：
其他好文 时间：
2020-12-25 11:47:16
阅读次数：
0
开始导数据之前考虑必须考虑清楚需要什么。1.导入数据需要读数据库JDBCConnector（因为这个是基于JAVA的）2.中间件工具Logstash(这个ES官网提供的)那么开始咯。试试看呀伐！把**JDBCforSQL**解压到D盘（我只是做个示范噢。）把Logstash解压到D盘。注意看下我的两个版本，我把我的数据库版本也贴出来，这样更直观。思路：Logstash来使用JDBC驱动连接sql数
分类：
数据库 时间：
2020-12-23 11:58:28
阅读次数：
0
ELK ELK是有Elastic（https://www.elastic.co/cn/）公司的三个组件配合进行日志收集，分别是： ElasticSearch:用于存储日志信息。 Logstash:用于收集、处理和转发日志信息。 Kibana:提供可搜索的Web可视化界面。 上面3个组件的关系，项目日 ...
分类：
编程语言 时间：
2020-12-22 12:09:59
阅读次数：
0
logstash7.10安装机器初始化参考ES安装，安装java，关闭防火墙，selinux等下载并安装GPG-KEYsudorpm--importhttps://artifacts.elastic.co/GPG-KEY-elasticsearch添加yum仓库vim/etc/yum.repos.d/logstash.repo[logstash-7.x]name=Elasticrepository
分类：
其他好文 时间：
2020-12-22 11:48:50
阅读次数：
0
1、ELK部署 ELK是elasticsearch、kibana、Logstash组合而成的整套解决方案，前面我们使用skywalking时候已经部署好elasticsearch(参见上一篇随笔)，接下来只需要安装Logstash和kibana即可 1.1、安装kibana 前面使用的elastic ...
分类：
Web程序 时间：
2020-12-16 13:01:27
阅读次数：
10
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-12-15 12:34:47
阅读次数：
9
题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。回到问题本身：如果库表里没有相关字段，该如何处理呢？本文给出相关探讨和解决方案。1、binlog认知1.1啥是binlog？bin
分类：
数据库 时间：
2020-12-15 12:28:58
阅读次数：
5
题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题，也是社区、QQ群等讨论最多的问题之一。问题包含但不限于：1、Mysql如何同步到Elasticsearch?2、Logstash、kafka_connector、canal选型有什么不同，如何取舍？3、能实现同步增删改查吗？.....本文给出答案。1、Canal同步1.1canal官方已支持Mysql同步E
分类：
数据库 时间：
2020-12-15 12:28:41
阅读次数：
4
