1、轮询策略：按照消息尽量保证每个分区的负载，消息会均匀分布到每个partition。写入消息的时候，key为null的时候，默认使用的是轮询策略。 2、随机策略：不使用。 3、按key写入策略：key.hash()%分区的数量。 4、自定义分区策略：类似于mapReduce指定分区。 乱序问题： ...
分类：
其他好文 时间：
2021-07-26 16:34:25
阅读次数：
0
数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作（full GC--stop the world），就会造成消息在partition中一直存在得不到消费，就会产生数据积压。 所以需要监控系统（kafka的监控系统Eagle），如果出现这种情况，需要尽快处理，虽然后续的spark strea ...
分类：
其他好文 时间：
2021-07-13 17:40:18
阅读次数：
0
MySQL分区表概述 我们经常遇到一张表里面保存了上亿甚至过十亿的记录，这些表里面保存了大量的历史记录。 对于这些历史数据的清理是一个非常头疼事情，由于所有的数据都一个普通的表里。所以只能是启用一个或多个带where条件的delete语句去删除（一般where条件是时间）。 这对数据库的造成了很大压 ...
分类：
数据库 时间：
2021-07-02 16:37:28
阅读次数：
0
mysql创建分区时依赖字段需要设为主键 例 我的依赖字段为collect_time 需要先创建至少一个分区 例：创建第一个分区时间小于’2020-02-01’ALTER TABLE tb_electric_power_info PARTITION BY RANGE (TO_DAYS(collect ...
分类：
数据库 时间：
2021-07-02 16:36:57
阅读次数：
0
主题交换机，这个交换机其实跟直连交换机流程差不多，但是它的特点就是在它的路由键和绑定键之间是有规则的。 简单地介绍下规则： * (星号) 用来表示一个单词 (必须出现的) # (井号) 用来表示任意数量（零个或多个）单词 通配的绑定键是跟队列进行绑定的,例： 队列Q1 绑定键为 .TT. 队列Q2绑 ...
分类：
其他好文 时间：
2021-06-25 17:23:14
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
路由模式介绍 路由模式下,在发布消息时指定不同的routeKey,交换机会根据不同的routeKey分发消息到不同的队列中 .net 5.0 代码实现： 生产者实现 using RabbitMQ.Client; using System; using System.Text; namespace R ...
分类：
其他好文 时间：
2021-06-22 18:25:12
阅读次数：
0
公司的Exchange2016环境准备上线了，今天owa打不开了。出现如下图的错误，更多详细信息没有截图，但最关键的一句记下来了。 X-OWA-Error Microsoft.Exchange.Diagnostics.ExAssertException 了解到由于删除了默认的自签名证书，找不到验证所 ...
分类：
其他好文 时间：
2021-06-19 19:24:13
阅读次数：
0
问题描述：给定一个数组arr，和一个数num，请把小于num的数放在数组的 左边，等于num的数放在数组的中间，大于num的数放在数组的 右边。 要求额外空间复杂度O(1)，时间复杂度O(N) 问题分析：这部分其实和快排中的partition部分很相似，其思想就是将任意一个数组分成三部分，分别是小于 ...
分类：
其他好文 时间：
2021-06-17 16:35:19
阅读次数：
0
1 分组求TopN 一、先看数据： 使用HiveSQL常用的方式为： Select * from table, row_number() over(partition by item order by score desc) rank where rank<=2; 二、输出结果为： 三、解析：row ...
分类：
数据库 时间：
2021-06-13 10:48:09
阅读次数：
0
