谈谈HBase

标签：string   合并   hdf   split   注册   ace   思维导图   容错   table   

去年8月给我们平台封装了Hbase接口，一直想写一些关于hbase的，现在终于写了点。附思维导图一张

一、HBase基本概念

RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。
Column Family：列族，拥有一个名称(string)，包含一个或者多个相关
Column：属于某一个columnfamily，familyName:columnName，每条记录可动态添加
Version Number：类型为Long，默认值是系统时间戳，可由用户自定义
Value(Cell)：Byte array

二、物理存储

1. Table中所有行都按照row key的字典序排列；
2. Table在行的方向上分割为多个Region；
3. Region按大小分割的，每个表开始只有一个region，随着数据增多，region不断增大，当增大到一个阀值的时候region就会等分会两个新的region，之后会有越来越多的region；
4. Region是Hbase中分布式存储和负载均衡的最小单元，不同Region分布到不同RegionServer上。
5. Region虽然是分布式存储的最小单元，但并不是存储的最小单元。Region由一个或者多个Store组成，每个store保存一个columns family；每个Strore又由一个memStore和0至多个StoreFile组成，StoreFile包含HFile；memStore存储在内存中，StoreFile存储在HDFS上。

三、基本组件 

Client

包含访问HBase的接口，并维护cache来加快对HBase的访问，比如region的位置信息

Master

• 为Region server分配region
• 负责Region server的负载均衡
• 发现失效的Region server并重新分配其上的region
• 管理用户对table的增删改查操作

Region Server

• Regionserver维护region，处理对这些region的IO请求
• Regionserver负责切分在运行过程中变得过大的region

Zookeeper

• 通过选举，保证任何时候，集群中只有一个master，Master与RegionServers 启动时会向ZooKeeper注册
• 存储所有Region的寻址入口
• 实时监控Region server的上线和下线信息。并实时通知给Master
• 存储HBase的schema和table元数据
• 默认情况下，HBase 管理ZooKeeper 实例，比如：启动或者停止ZooKeeper
• Zookeeper的引入使得Master不再是单点故障

四、HBase容错性

Master容错：

Zookeeper重新选择一个新的Master

• 无Master过程中，数据读取仍照常进行；
• 无master过程中，region切分、负载均衡等无法进行；

RegionServer容错：

定时向Zookeeper汇报心跳，如果一旦时间内未出现心跳，Master将该RegionServer上的Region重新分配到其他RegionServer上，失效服务器上“预写”日志由主服务器进行分割并派送给新的RegionServer

Zookeeper容错：

Zookeeper是一个可靠地服务，一般配置3或5个Zookeeper实例

五、写流程

1. zookeeper中存储了meta表的region信息，从meta表获取相应region信息，然后找到meta表的数据
2. 根据namespace、表名和rowkey根据meta表的数据找到写入数据对应的region信息
3. 找到对应的regionserver
4. 把数据分别写到HLog和MemStore上一份
5. MemStore达到一个阈值后则把数据刷成一个StoreFile文件。若MemStore中的数据有丢失，则可以总HLog上恢复
6. 当多个StoreFile文件达到一定的大小后，会触发Compact合并操作，合并为一个StoreFile，这里同时进行版本的合并和数据删除。
7. 当Compact后，逐步形成越来越大的StoreFIle后，会触发Split操作，把当前的StoreFile分成两个，这里相当于把一个大的region分割成两个region。

六、读流程

1. zookeeper中存储了meta表的region信息，所以先从zookeeper中找到meta表region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息。
2. 根据namespace、表名和rowkey在meta表中找到对应的region信息
3. 找到这个region对应的regionserver
4. 查找对应的region
5. 先从MemStore找数据，如果没有，再到StoreFile上读

谈谈HBase

标签：string   合并   hdf   split   注册   ace   思维导图   容错   table   

原文地址：http://www.cnblogs.com/matianchi/p/7010934.html