1、region拆分机制region中存储的是大量的rowkey数据,当region中的数据条数过多的时候,直接影响查询效率.当region过大的时候.hbase会拆分region,这也是Hbase的一个优点.HBase的regionsplit策略一共有以下几种：1、ConstantSizeRegionSplitPolicy0.94版本前默认切分策略当region大小大于某个阈值(hbase.hr
分类：
其他好文 时间：
2020-02-17 17:35:33
阅读次数：
102
一、Hbase 简介 hdfs 是分布式文件系统, 只支持在文件层面的增、删除、改（需要把文件下载下来，改完，再上传上去）、查 hbase 是支持海量数据存储的NoSql数据库，基于hdfs的，支持数据的增、删、改、查，支持随机写数据（改指定的某一条数据） hbase 查询数据只能根据rowkey进 ...
分类：
其他好文 时间：
2020-01-30 19:24:15
阅读次数：
78
Hbase:基于hdfs的数据库,来源于google的一篇论文bigtable.基于HDFS实现高可用、分布式、列式存储、核心包括：-Rowkey: 可以简单理解成mysql中的主键-列簇，列-时间戳按照Rowkey字典顺序存储，基于rowkey的高效检索，同时继承hdfs的高吞吐能力。Hbase用 ...
分类：
其他好文 时间：
2020-01-25 15:31:49
阅读次数：
94
一、HBase的RK设计 HBase读写数据大多数是通过RK，MemStore/HFile存储也是按照字典顺序排列的RK存储，所以要关注RK。 RowKey设计原则： 1）长度原则： RowKey不应该超过16字节，因为若是过长再以KV形式存储，对于HFile和MemStore来说会极大的占用存储空 ...
分类：
其他好文 时间：
2019-12-28 20:38:27
阅读次数：
91
sqoop import -D sqoop.hbase.add.row.key=true //是否将rowkey相关字段列入列族中，默认为false ；该参数必须在import之后 --connect jdbc:mysql://120.27.208.185/bigdatatest //连接mysql ...
分类：
数据库 时间：
2019-12-17 15:29:30
阅读次数：
118
rowKey设计原则 1、长度原则 最大值为64KB, 长度在10 ~ 100byte ; 最好是 8 的倍数，太长会影响性能； 2、唯一原则 具有唯一性； 3、散列原则 1)、盐值散列；不能使用时间戳作为rowKey; 2)、 字符串反转：131313131 3)、计算分区号： hashmap ...
分类：
其他好文 时间：
2019-12-07 14:49:21
阅读次数：
156
一.Hbase架构与理解 Hbase架构大致如下，图片取自https://www.cnblogs.com/linkworld/p/10963910.html。 二.Hbase shell操作 创建Hbase表时默认有一个region,这个region的rowkey是没有边界的，即没有开始的star ...
分类：
其他好文 时间：
2019-11-22 11:59:32
阅读次数：
58
hbase数据热点问题：一个region上访问数据量过多，解决方案是对热点数据的rowkey进行预处理，添加一些前缀东西，将热点数据分散到多个region中。预合并？动态分区？就是一开始初始数据的时候，就要对数据进行分区，存储到不同的region上，负载均衡例子：比如按电话号码开头分区，容易将电话号码都分到一个区中。后面可以按电话号码的逆序作为rowkey，这样就比较随机了。ctrL+backsp
分类：
其他好文 时间：
2019-11-05 09:26:31
阅读次数：
110
使用HBase存储中国好声音数据的案例，业务描述如下： 为了能高效的查询到我们需要的数据，我们在RowKey的设计上下了不少功夫，因为过滤RowKey或者根据RowKey查询数据的效率是最高的，我们的RowKey的设计是：UserID + CreateTime + FileID，那么我们在HBase ...
分类：
其他好文 时间：
2019-09-12 23:18:38
阅读次数：
104
rowkey是什么？ rowkey相当于mysql、orcale中的主键，用于标识唯一的行，是完全由用户指定的一串不重复的字符串，hbase的数据永远都是根据rowkey的字典顺序排序的。 Rowkey的作用 1）读写数据时通过rowkey找到对应region；2）MenStore中数据按rowke ...
分类：
其他好文 时间：
2019-09-10 11:36:07
阅读次数：
117
