业务使用maxwell监听数据库的binlog日志，然后发送到kafka，经过这些日志进行业务逻辑的处理。 问题：线上的这段业务没有进行执行。 猜测1、由于前段时间进行了数据库表的字段转移，把两个字段从上层表order下放到了下层表advert，以为是这段代码进行改写的时候没能覆盖逻辑。 看了代码之 ...
分类：
其他好文 时间：
2021-06-11 18:59:01
阅读次数：
0
无人化的值守，其实质并非真正无人，而是基于大数据物联网等手段，将分布在配电室内的各类传感器、采集与通信设备，将各种电气信号、运行参数和环境数据传送到基于云平台的监控中心，对用户配电室进行远程、集中、实时监控。而在每个变电站/配电室中，不再设置值守人员，从而节约配电室的人力成本投入。 ...
分类：
其他好文 时间：
2021-06-11 18:33:34
阅读次数：
0
其实很早就是用kafka了，但是一直都用的非常简单，最近写一个小功能的时候又要用到kafka，于是就花点时间好好看了一下网上关于kafka的一些文档和博客，发现了一个很不错的博客，做个记录和分享。 原文链接： https://www.cnblogs.com/rexcheny/articles/946 ...
分类：
编程语言 时间：
2021-06-11 18:14:50
阅读次数：
0
前言 Apache Kafka的受欢迎程度很高，Kafka拥有充足的就业机会和职业前景。此外，在这个时代拥有kafka知识是一条快速增长的道路 而且无论是作为面试官，还是应聘者，我都接触过很多Kafka面试题。而在最近面试了很多候选人，发现写了熟悉Kafka，但是对于Kafka相关的知识却是只知道大 ...
分类：
编程语言 时间：
2021-06-11 18:11:03
阅读次数：
0
一、文件存储 kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据，为了避免日志文件过大，一个分片 并不是直接对应在一个磁盘上的日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是<top ...
分类：
其他好文 时间：
2021-06-11 17:32:01
阅读次数：
0
数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划阶段，Spark 的 Join Selection 类会根 据 Join hints 策略、Join 表的大小、 Join 是等值 Join 还是不等值以及参与 Join 的 key 是否可以排序等条件来选择最 终的 ...
分类：
其他好文 时间：
2021-06-10 18:28:12
阅读次数：
0
数据迁移使用场景 冷热集群数据分类存储,详见上述描述. 集群数据整体搬迁.当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等. 数据的准实时同步.数据的准实时同步与 ...
分类：
其他好文 时间：
2021-06-10 18:05:50
阅读次数：
0
前言： 在上篇中我们了解了Kafka是什么，为什么需要Kafka，以及Kafka的基本架构和各自的作用是什么，这篇文章中我们将从kafka内部每一个组成部分去看kafka 是如何保证数据的可靠性以及工作机制。因为时间问题，或许排版多有瑕疵，有些内容未能做到详尽。待之后有空会前来填坑。话不多说，正片开 ...
分类：
其他好文 时间：
2021-06-10 17:56:07
阅读次数：
0
一般在数据库中，我们保存的都只是 int 、 varchar 类型的数据，一是因为现代的关系型数据库对于这些内容会有很多的优化，二是大部分的索引也无法施加在内容过多的字段上，比如说 text 类型的字段就很不适合创建索引。所以，我们在使用数据库时，很少会向数据库中存储很大的内容字段。但是，MySQL ...
分类：
其他好文 时间：
2021-06-09 10:39:11
阅读次数：
0
小鼎量化机器人系统开发 什么是量化交易机器人？ 量化通过绑定你的交易所API权限，代替人工分析行情和策略，自动做单，解放你的双手和时间，你不需要做什么，只需要定期提走利润即可。 AI赋能24小时交易，机器人可以探测市场买入卖出大数据，融入各项技术指标，自动切入合理的买入卖出点位，并制订最优化的止盈止 ...
分类：
移动开发 时间：
2021-06-08 23:38:26
阅读次数：
0
