1、轮询策略：按照消息尽量保证每个分区的负载，消息会均匀分布到每个partition。写入消息的时候，key为null的时候，默认使用的是轮询策略。 2、随机策略：不使用。 3、按key写入策略：key.hash()%分区的数量。 4、自定义分区策略：类似于mapReduce指定分区。 乱序问题： ...
分类：
其他好文 时间：
2021-07-26 16:34:25
阅读次数：
0
HASH分区主要用来分散热点读，取保数据在预先确定个数的分区中尽可能的平均分布。 对一个表执行HASH分区时，MySQL会对分区键应用一个散列函数，一次确定数据应该放在哪一个分区中。 MySQL分区支持两种HASH分区，常规HASH分区和线性HASH分区。 常规HASH使用的是取模算法，线性HASH... ...
分类：
数据库 时间：
2020-07-28 14:35:18
阅读次数：
81
一、B+Tree索引和Hash索引 Hash索引结构的特殊性，检索效率非常高，索引的检索可以一次定位 B+树索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问 Hash本身由于其特殊性，也带来了很多限制： 1. Hash索引仅仅能满足“=”,“IN”,“<=>”查询，不能使用范围查询 ...
分类：
数据库 时间：
2020-03-02 21:07:25
阅读次数：
89
1、spark中默认的分区器： Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数。 只有Key-Value类型的RDD才有分区器的 ...
分类：
其他好文 时间：
2020-02-14 22:47:17
阅读次数：
75
转：https://www.jianshu.com/p/f3e43328c1b5 一、集群方案与分区 1、一致性hash分区 一致性哈希分区（Distributed Hash Table）实现思路是为系统中每个节点分配一个token，范围一般在0～232，这些token构成一个哈希环。数据读写执行节 ...
分类：
其他好文 时间：
2020-01-13 23:37:55
阅读次数：
104
MySQL分区类型如下：RANFGE分区LIST分区HASH分区key分区上面的四种分区的条件必须是整形，如果不是整形需要通过函数将其转换为整形。1、RANGE分区RANGE分区是基于属于一个给定连续区间的列值，把多行分配给分区。这些区间要连续且不能相互重叠，使用valueslessthan操作符来进行定义。创建一个RANGE分区方式的表：mysql>createtableemployees
分类：
数据库 时间：
2020-01-10 00:20:48
阅读次数：
157
一、背景mysql 表中已有 4 亿数据，为提高查询效率，需创建分区，一开始计划是创建 HASH 分区，结果报错：ERROR 1659 (HY000): Field 'partno' is of a not allowed type for this type of partitioning1 查询 ...
分类：
数据库 时间：
2019-11-21 09:32:52
阅读次数：
151
Map阶段流程:input File通过split被逻辑切分为多个split文件，通过Record按行读取内容给map（用户自己实现的）进行处理，数据被map处理结束之后交给OutputCollector收集器，对其结果key进行分区（默认使用hash分区），然后写入buffer，每个map tas ...
分类：
其他好文 时间：
2019-09-14 21:00:53
阅读次数：
99
Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数 只有Key-Value类型的RDD才有分区器的，非Key-Value类型的RDD ...
分类：
其他好文 时间：
2019-09-04 09:42:28
阅读次数：
73
1、查询 1》通过提示，使用索引。 2》使用/*+parallel*/并行查询 3》查看执行计划，调整sql语句或者优化表结构 4》避免使用“*”号 2、表设计：partition分区技术，对数据进行Hash分区、时间分区 3、启用中间表，将一个复杂的查询分作多步查询得到最终的结果 4、DML语句考 ...
分类：
数据库 时间：
2019-08-19 00:10:35
阅读次数：
113
