标签：key   hbase   合并   新版本   定位   存储   root   ems   三次   

Overview

• HBase中的一个big table，首先会按行划分成一些region(这些region之间是有序的，由startkey保证)，每个region分配到不同的节点进行存储。因此，region是HBase分布式和负载均衡的最小单元。
• 对每个节点而言，它会对分配到的region是按列族进行存储的。也即，region被分为多个store(对应多个列族)。而store内部，又有一个memStore和多个storeFiles组成。
• 数据首先更新到memStore，memStore会内排序，而storeFile是由memStore flush到磁盘的，所以每个storeFile内部都是有序的。但是，本质上HBase进行的都是append操作(删除并不是真正的删除，而是打上delete的tag)，所以是无法保证storeFiles之间有序的。
• storeFiles之间无序，那么当storeFiles个数过多时，必然造成效率下降，因此会对storeFiles做merge操作。也即当 StoreFile 文件数量超过设定值时，会触发合并操作，合并成一个大文件。
• 同样的，当region的大小达到阈值时，会被切分开，生成一个新的region，HMaster会对其进行管理，分配到合适的 regionserver。region的变化后，系统还需要对hbase:meta 表进行维护。

HBase:meta

• 在Hbase的老版本中，是包含-root-和.meta.表的，每次索引数据都要进行三次定位。在新版本中改成了只有HBase:meta表，它存在于Zookeeper中。
• 当我们在HBase中查找某rowkey时，首先要定位其所在的RegionServer，这就需要通过HBase:meta表来实现了。
• HBase:meta表本质上也是一张HBase表。

HBase Read

• 以上，查找某rowkey时：
  1. 通过Zookeeper中的HBase:meta表定位其所在region(RegionServer)；【因为region之间是有序的，因此可以根据startKey来定位】
  2. 在RegionServer中查找：首先是BlockCache，然后是MemStore，再然后是StoreFiles(StoreFiles之间虽是无序的，但每个StoreFile内部是有序的)。

<HBase><读写>

标签：key   hbase   合并   新版本   定位   存储   root   ems   三次   

原文地址：http://www.cnblogs.com/wttttt/p/6920029.html