0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-08-01 12:38:39
阅读次数：
93
查看消费组详情: ./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test-consumer-group 查看topic详情： ./bin/kafka-topics.sh --to ...
分类：
其他好文 时间：
2020-07-31 18:03:33
阅读次数：
83
一次机房停电引发的思考今天早上到公司的时候，接到开发反馈DEV环境所有接口都卡，耗时都在一分钟以上，严重影响开发正常工作，然后通过网关的日志定位到原因是因为kafka集群不可用（总共3个broker，前一天晚上机房停电导致leader节点挂了），导致网关的反爬过滤器里面发送kafka消息的代码kafkaTemplat.send阻塞了60s，当时在想这个send方法不是异步的吗，为什么会阻塞60s？
分类：
其他好文 时间：
2020-07-31 01:13:59
阅读次数：
93
0、题记日志分析是ELK最常用、最核心业务场景之一。如果你正在使用ElasticStack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合你。Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈，夯实基础认知。ELKStack是三个开源项目
分类：
其他好文 时间：
2020-07-31 01:06:57
阅读次数：
77
0、问题引出经群讨论，建议从以下几个方面展开，大家有好的想法，也欢迎留言交流。1、可视化展示ELK效果如果条件允许，demo的内容是：通过logstash同步日志或数据库（oracle、mysql）表的数据到Elasticsearch，然后通过kibana进行可视化。1通过Canvas对数据进行可视化布局与展现，可以实现非常酷炫的大屏展示效果。2展示实时数据的数据量。3展示你定的几个维度的数据信息
分类：
其他好文 时间：
2020-07-31 01:05:26
阅读次数：
101
一、安装JDK 略过 二、安装Zookeeper 由于Kafka的运行依赖于Zookeeper，所以在运行Kafka之前需要安装并运行Zookeeper 1.Zookeeper下载路径 http://zookeeper.apache.org/releases.html#download 2.解压到文 ...
分类：
其他好文 时间：
2020-07-30 22:13:36
阅读次数：
66
什么是Kafka？Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之 ...
分类：
其他好文 时间：
2020-07-30 14:47:03
阅读次数：
73
