Hbase是一个分布式的, 面向列的开源数据库, 该技术来源于Chang et al所撰写的Google论文"Bigtable: 一个结构化数据的分布式存储系统"
就像Bigtable利用了Google文件系统( File System ) 所提供的分布式数据存储一样, Hbase在Hadoop之上提供了类似于Bigtable的能力
Hbase是Apache的Hadoop项目的子项目
Hbase不同于一般的关系数据库, 它是一个适合于非结构化数据存储的数据库, 另一个不同的是Hbase基于列的而不是基于行的模式
以表的形式存放数据
表由行与列组成, 每个列属于某个列族, 由行和列确定的存储单元成为元素
每个元素保存了同一份数据的多个版本, 由时间戳来标识区分
行键在数据行在表里的唯一标识, 并作为检索记录的主键
访问表里的行只有三种方式
1. 通过单个行键访问
2. 给定行键的范围访问
3. 全表扫描
行键可以使最大长度不超过64KB的任意字符串, 并按照字典序存储
对于经常要一起读取的行, 要对行键值精心设计, 以便它们能放在一起存储
列表示为<列族>:<限定符>
Hbase在磁盘上按照列族存储数据, 这种列式数据库的设计非常适合于数据分析的情形
列族里的元素最好具有相同的读写方式( 列如等长的字符串 ), 以提高性能
对应每次数据操作的时间, 可由系统自动生成, 也可以由用户显示的赋值
Hbase支持两种数据版本回收方式: 1 每个数据单元, 只存储指定个数的最新版本
2 保存指定时间长度的版本 ( 例如 7天 )
常见的客户端时间查询: "某个时刻起的最新数据" 或 "给我全部版本的数据"
元素由行键, 列族:限定符, 时间戳唯一决定
元素以字节码形式存放, 没有类型之分
表在行方向上, 按照行键范围划分为若干的Region
每个表最初只有一个region, 当记录数增加到超过某个阈值时, 开始分裂成两个region
物理上所有数据存放在HDFS, 由Region服务器提供region的管理
一台物理节点只能跑一个HRegionServer
一个HRegionServer可以管理多个Region实例
一个Region实例包括Hlog日志和存放数据的Store
Hmaster作为总控节点
Zookeeper负责调度
用于灾难恢复
预写式日志, 记录所有更新操作, 操作先记录进日志, 数据才会写入
HBase中有两张特殊的Table, -ROOT- 和 .META.
.META. : 记录了用户表的Region信息, .META. 可以有多个region
-ROOT- : 记录了 .META. 表的Region信息, -ROOT- 只有一个region
Zookeeper中记录了 -ROOT- 表的location
一个region由多个store组成, 每个store包含一个列族的所有数据
store包括位于把内存的memstore和位于硬盘的storefile
写操作先写入memstore, 当memstore中的数据量达到某个阈值, Hregionserver会启动flashcache进程写入storefile, 每次写入形成单独一个storefile
当storefile文件的数量增长到一定阈值后, 系统会进行合并, 在合并过程中会进行版本合并和删除工作, 形成更大的storefile
当storefile大小超过一定阈值后, 会把当前的region分割成两个, 并由Hmaster分配到相应的region服务器, 实现负载均衡
客户端检索数据时, 先在memstore找, 找不到在找storefile
索引不通造成行为的差异
Hbase适合大量插入同时又有读的情况
Hbase的瓶颈在磁盘传送速度, Oracle的瓶颈在硬盘寻道时间
Hbase很适合寻找按照时间排序top N的场景
数据存放在数据文件内
数据文件的基本组成单位: 块/页
块内结构: 块头, 数据区
本文出自 “晓风残月” 博客，请务必保留此出处http://kinda22.blog.51cto.com/2969503/1582571
原文地址：http://kinda22.blog.51cto.com/2969503/1582571
