HBase架构、模型、特点

标签：读写   概念   技术   内存   key   log   支持   管理   hdf   

1、HBase概述

• HBase是一个构建在HDFS上的分布式列存储系统（数据真正存放的位置是HDFS上的，HBase是做数据管理）；
• HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；
• HBase是Google Bigtable的开源实现；
• 从逻辑上讲，HBase将数据按照表、行和列进行存储，它是一个分布式的、稀疏的、持久化存储的多维度排序表；
• HBase VS HDFS

　　（HDFS适合批处理场景，HDFS不支持数据随机查找、HDFS不支持数据更新）

• HBase VS Hive

　　（Hive适合批处理数据分析场景；Hive不适合实时的数据访问）

2、HBase应用场景

　　网页库(360搜索-网络爬虫)

　　商品库（淘宝搜索-历史长的查询）

　　交易信息（淘宝数据魔方）

　　云存储服务（小米）

　　用户画像系统

　　监控信息（OpenTSDB）

 3、HBase概念模型

　　HBase中数据是可以有多个版本的（默认会返回最新的数据）

• HBase VS Mysql

　　列：

　　-HBase的列是可以无限扩展的；

　　-HBase的列没有类型；

　　-HBase的多个列可以构成一个列簇（column family）

　　主键&索引：

　　-HBase有且仅有一个主键（row key）；

　　-数据根据主键进行排序；-不支持二级索引；

　　值：

　　-HBase的值是由多个版本的，每一个成为一个Cell；

　　-Cell的数目也没有限制（默认是3个）

 4、HBase模型特点

　 高可靠性

　　与MapReduce良好的集成

　　可扩展性强：支持数十亿行，上百万列；支持数十万个版本

　　可以存储非常稀疏的数据

　　支持点查：根据主键获取一行数据

　　支持扫描：快速获取某些行区间范围的数据；高效获取某几列的数据

5、HBase物理模型

　　数据存储需求：节省空间，null值不存储；节省IO，列式扫描少读取数据

　　数据存储方案的选择：行式存储Mysql，列式存储HBase

　　列簇式存储：同一列簇的所有列的数据存放在一起；不同列簇的数据物理上分开存储

• HBase物理模型-Cell格式

　　Cell的构成部分

　　-row key

　　-column family

　　-qualifier（column）

　　-timestamp

　　-value

• HBase物理模型-列簇

　　列簇可以看成式一系列排序好的cell的集合

　　Cell按照下列顺序进行排序

　　-row key升序

　　-column family升序

　　-qualifier升序

　　-timestamp降序

• 支持快速检索（二分查找）

• HBase物理模型

　　HBase将一张大表拆分为多个分片，每一个分片称为一个Region（默认好像式1个G，可以设置）；

　　不同的Region可以放在不同的服务器上；

　　分片的方式式按照主键的取值区间划分；

　　每一个Region都包含所有的列簇；

　　Region按大小分割的，每个表开始只有一个Region,随着数据增多，Region不断增大，当增到到一个阀值的时候，Region就会等分成两个新的Region,之后会有越来越多的Region；

　　Region式HBase中分布式存储和负载均衡的最小单元

　　Region内部包含多个列簇，每一个列簇交给一个Store来存储

　　每个Store将数据分为两部分：存储在内存中的数据（MemStore）和存储在文件系统的数据（StoreFile）

　　MemStore只存储新增的和修改过的数据，并在内存满的时候将数据刷到StoreFile中

6、HBase架构

　　HBase的所有数据都存储在HDFS上，只做数据管理工作

　　HBase还依赖于Zookeeper

　　HBase本身只有两个角色RegionServer和HMaster

　　一个HRegionServer下只有一个HLog

• HRegion(区域)

　　HBase会自动的将表划分为不同的区域

　　每个区域包含所有行的一个子集

　　对用户来说，每个表是一堆数据的集合，靠主键来区分

　　从物理上来说，一张表被拆分成了多块，每一块是一个HRegion

　　我们用表名+开始和结束主键，来区分每一个HRegion

　　一个HRegion会保存一个表里面某段连续的数据，从开始主键到结束主键

　　一张完整的表格是保存在多个HRegion上面

• HRegionServer

　　所有的数据库数据都保存在HDFS上面

　　用户通过访问HRegionServer获取这些数据

　　一台机器上面一般只运行一个HRegionServer

　　一个HRegionServer上面有多个HRegion,一个HRegion也只会被一个HRegionServer维护

　　HRegionServer主要负责响应用户I/O请求，从HDFS读写数据，是HBase中最核心的模块

　　HRegionServer内部管理了一系列的HRegion对象

　　每个HRegion对应了Table中的一个Region，HRegion中由多个HStore组成

　　每个HStore对应了Table中的一个Column Family的存储

　　最好将具备共同IO特性的Column放在一个Column Family中

• HMaster

　　每个HRegionServer都会与HMaster通信

　　HMaster的主要任务就是给HRegionServer分配HRegion

　　HMaster指定HRegionServer要维护哪些HRegion

　　当一台HRegionServer宕机时，HMaster会把它负责的HRegion标记为未分配，然后再把它们分配到其他HRegionServer中

　　HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master运行，HMaster在功能上主要负责Table和Region的管理工作：

　　　　-.管理用户对Table的增、删、改、查操作；

　　　　-管理HRegionServer的负载均衡，调整Region分布；

　　　　-在Region Split后，负责新的Region的分配；

　　　　-在HRegionServer停机后，负责失效HRegionServer上的Regions迁移

HBase架构、模型、特点

标签：读写   概念   技术   内存   key   log   支持   管理   hdf   

原文地址：https://www.cnblogs.com/20kuaiqian/p/11244025.html