码迷,mamicode.com
首页 > 其他好文 > 详细

HBase表预分区

时间:2016-08-05 11:39:37      阅读:165      评论:0      收藏:0      [点我收藏+]

标签:

HBase 预分区


在创建HBase表的时候默认一张表只有一个region,所有的put操作都会往这一个region中填充数据,当这个一个region过大时就会进行split。如果在创建HBase的时候就进行预分区则会减少当数据量猛增时由于region split带来的资源消耗。

HBase表的预分区需要紧密结合业务场景来选择分区的key值,每个region都有一个startKey和一个endKey来表示该region存储的rowKey范围。

创建包含预分区表的命令如下:

> create ‘t1‘, ‘cf‘, SPLITS => [‘20150501000000000‘, ‘20150515000000000‘, ‘20150601000000000‘]

或者

> create ‘t2‘, ‘cf‘, SPLITS_FILE => ‘/home/hadoop/splitfile.txt‘

/home/hadoop/splitfile.txt中存储内容如下:
20150501000000000
20150515000000000
20150601000000000
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

该语句会创建4个region:

                startkey                    endkey
region0         -                           20150501000000000
region1         20150501000000000           20150515000000000
region2         20150515000000000           20150601000000000
region3         20150601000000000           -

// region0没有startKey
// region3没有endKey

// 当put的一条数据rowKey值为20150516000000000时则会放入region2中
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

从HBase的Web UI中可以查看到表的分区

技术分享

每个region的命名方式如下:[table],[region start key],[region id]

HBase表预分区

标签:

原文地址:http://www.cnblogs.com/thinkpad/p/5740483.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!