在消息RabbitMQ时,我们关心的一个问题是手动ack还是自动ack,如果是自动ack就怕出现丢消息的情况 Flink以RabbitMQ作为Source,是怎么保证消息唯一性的呢,是怎么保证ack的. 首先引入依赖包 <dependency> <groupId>org.apache.flink</ ...
分类:
其他好文 时间:
2021-06-11 19:15:45
阅读次数:
0
业务使用maxwell监听数据库的binlog日志,然后发送到kafka,经过这些日志进行业务逻辑的处理。 问题:线上的这段业务没有进行执行。 猜测1、由于前段时间进行了数据库表的字段转移,把两个字段从上层表order下放到了下层表advert,以为是这段代码进行改写的时候没能覆盖逻辑。 看了代码之 ...
分类:
其他好文 时间:
2021-06-11 18:59:01
阅读次数:
0
其实很早就是用kafka了,但是一直都用的非常简单,最近写一个小功能的时候又要用到kafka,于是就花点时间好好看了一下网上关于kafka的一些文档和博客,发现了一个很不错的博客,做个记录和分享。 原文链接: https://www.cnblogs.com/rexcheny/articles/946 ...
分类:
编程语言 时间:
2021-06-11 18:14:50
阅读次数:
0
前言 Apache Kafka的受欢迎程度很高,Kafka拥有充足的就业机会和职业前景。此外,在这个时代拥有kafka知识是一条快速增长的道路 而且无论是作为面试官,还是应聘者,我都接触过很多Kafka面试题。而在最近面试了很多候选人,发现写了熟悉Kafka,但是对于Kafka相关的知识却是只知道大 ...
分类:
编程语言 时间:
2021-06-11 18:11:03
阅读次数:
0
1、打开软件后,点击file菜单; 2、在弹出菜单中点击settings; 3、打开settings界面后,点击Appearance; 4、在ui options下点击theme; 5、在弹出下拉选择另一风格; 6、点击底部的apply按钮完成设置; ...
分类:
Web程序 时间:
2021-06-11 17:45:37
阅读次数:
0
一、文件存储 kafka 使用日志文件的方式来保存生产者和发送者的消息,每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据,为了避免日志文件过大,一个分片 并不是直接对应在一个磁盘上的日志文件,而是对应磁盘上的一个目录,这个目录的命名规则是<top ...
分类:
其他好文 时间:
2021-06-11 17:32:01
阅读次数:
0
前言: 在上篇中我们了解了Kafka是什么,为什么需要Kafka,以及Kafka的基本架构和各自的作用是什么,这篇文章中我们将从kafka内部每一个组成部分去看kafka 是如何保证数据的可靠性以及工作机制。因为时间问题,或许排版多有瑕疵,有些内容未能做到详尽。待之后有空会前来填坑。话不多说,正片开 ...
分类:
其他好文 时间:
2021-06-10 17:56:07
阅读次数:
0
docker安装kafka 1、下载zookeeper镜像 docker pull wurstmeister/zookeeper 2、下载kafka镜像 docker pull wurstmeister/kafka 3、查看镜像 docker images 4、单机方式先启动zookeeper容器 ...
分类:
系统相关 时间:
2021-06-08 22:39:02
阅读次数:
0
zookeeper3.4.10 kafka 2.11 redis-4.0.2 ps -ef |grep redis 里面有一个 说明没事 mongodb 3.4.3 27017 他的表 叫collection scala 2.11.12 快捷键 1.如果包没有显示出来,需要自行添加, ctrl+al ...
分类:
其他好文 时间:
2021-06-05 18:14:39
阅读次数:
0