1、轮询策略：按照消息尽量保证每个分区的负载，消息会均匀分布到每个partition。写入消息的时候，key为null的时候，默认使用的是轮询策略。 2、随机策略：不使用。 3、按key写入策略：key.hash()%分区的数量。 4、自定义分区策略：类似于mapReduce指定分区。 乱序问题： ...
分类：
其他好文 时间：
2021-07-26 16:34:25
阅读次数：
0
数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作（full GC--stop the world），就会造成消息在partition中一直存在得不到消费，就会产生数据积压。 所以需要监控系统（kafka的监控系统Eagle），如果出现这种情况，需要尽快处理，虽然后续的spark strea ...
分类：
其他好文 时间：
2021-07-13 17:40:18
阅读次数：
0
本文是杭州站 Meetup 讲师乔雷根据其分享内容整理而成的文章。 图数据库是一种使用图结构进行语义查询的数据库，它使用节点、边和属性来表示和存储数据。图数据库的应用领域非常广泛，在反应事物之间联系的计算都可以使用图数据库来解决，常用的领域如社交领域里的好友推荐、金融领域里的风控管理、零售领域里的商 ...
分类：
其他好文 时间：
2021-07-02 16:42:08
阅读次数：
0
mysql创建分区时依赖字段需要设为主键 例 我的依赖字段为collect_time 需要先创建至少一个分区 例：创建第一个分区时间小于’2020-02-01’ALTER TABLE tb_electric_power_info PARTITION BY RANGE (TO_DAYS(collect ...
分类：
数据库 时间：
2021-07-02 16:36:57
阅读次数：
0
(java进阶之IO流) IO流的概念（大纲）： 1.InputStream和OutputStream的继承关系图 2.Reader和Writer的继承关系图 3.文件专属流（加※为重点掌握） ※FileInputStream(文件字节输入流)实例： package fileInputStream; ...
分类：
编程语言 时间：
2021-06-30 17:37:25
阅读次数：
0
迪克斯特拉 最小权重路径 示例1 """ 需要三个字段：流程图(各个节点)，权重图(启点到各个节点)，父节点(各个节点)，是否处理过的一个数组 """ graph = {} graph['start'] = {} graph['start']['a'] = 6 graph['start']['b'] ...
分类：
编程语言 时间：
2021-06-29 15:19:12
阅读次数：
0
背景 背景: 由于工作需要, 需要在现有opencv 3.3.1版本上安装opencv2.4.11版本, 安装目录为/usr/local/opencv-2.4/下, 根据多版本安装教程, 出现了opencv与cuda的安装冲突. 编译出错如下: CMake Error: The following ...
分类：
其他好文 时间：
2021-06-28 18:51:29
阅读次数：
0
> scRNA <- FindNeighbors(scRNA, dims = pc.num) Computing nearest neighbor graph Computing SNN Error in validObject(.Object) : invalid class “Graph” ob ...
分类：
其他好文 时间：
2021-06-24 17:51:06
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
问题描述：给定一个数组arr，和一个数num，请把小于num的数放在数组的 左边，等于num的数放在数组的中间，大于num的数放在数组的 右边。 要求额外空间复杂度O(1)，时间复杂度O(N) 问题分析：这部分其实和快排中的partition部分很相似，其思想就是将任意一个数组分成三部分，分别是小于 ...
分类：
其他好文 时间：
2021-06-17 16:35:19
阅读次数：
0
