标签：客户 .com val alt 过程 管理 出现 ast cti
在hbase里面有几个通俗的名称会经常出现
1）Hregion = region
2）Hregionserver = regionserver
3）Hmaster = master
4）Hmamstore = memstore
5）Hfile = storeFile
1、什么是hbase？
1）它是基于稀疏的、分布式的、持久化的、多维有序映射，它基于行健、列簇、时间戳建立索引
2）构建在hdfs之上的分布式列式键值存储系统，hbase内部管理的文件存储在hdfs中。
2、有什么特点？
1）不介意数据类型，允许动态的、灵活的数据模型，并不限制存储数据的种类。因此他可以自如的存储结构化和半结构化的数据。
2）它不要sql语音，不强调数据之间的关系
3）它不允许跨行的事物，可以在一行的某一列存储一个整数，而在另一行的同一列存储一个字符串
4）它被设计在一个服务器集群上运行，而不是单台服务器。这就意味着是一种强大的、可扩展的数据使用方式。
3、列式存储
列式存储的基础：对于特定的查询，不是所有的值都是必须的。
1）以列为单位聚合数据，然后将列值顺序的存入磁盘
2）数据类型一致，数据特征相似，更利于压缩
3）大量降低系统I/O
4、HBASE特性
1）容量巨大：单表可以有百亿行，百万列
2）面向列
3）稀疏性：空值不占用存储空间
4）扩展性：由hdfs决定，热扩展
5）高可用性：WAL和Replication机制；hdfs；zookeeper
6）共性能：LSM数据结构；Rowkey有序排列
7）无模式
8）数据多版本
9）数据类型单一
10）TTL
5、client
1）包含访问hbase的接口，并维护cache来加快对hbase的访问
2）通过rpc机制和master，region server通信
6、zookeeper
1）保证任何时候，集群中只有一个master
2）存储所有region的寻址入口
3）实时监控region server的上下线信息。并通知给master
4）存储hbase元数据信息
5）hbase中可以启动多个Hmaster，通过zookeeper的master election机制保证总有一个master运行
7、HMaster主要负责：table、region管理工作
1）管理用户对table的增删改查
2）管理regionserver的负载均衡，跳转region分布
3）在region分裂后，负责新region的分配
4）在regionserver死机后，负责失效regionserver上的region迁移
(由于master只维护表和region的元数据，而不参与表数据IO的过程，master下线仅导致所有元数据的修改被冻结(无法创建删除表，无法修改表的schema，无法进行region的负载均衡，无法处理region上下线，无法进行region的合并，唯一例外的是region的split可以正常进行，因为只有region server参与)，表的数据读写还可以正常进行。
因此master下线短时间内对整个hbase集群没有影响。)
8、regionserver：主要负责响应用户I/O请求，向hdfs文件系统中读写数据
1）管理了一系列Hregion对象，每个Hregion对应了table中的region
2）Hregion由多个Hstore组成，每个Hstore对应了table中的一个column Family的存储
每个column Family其实就是一个集中的存储单位，简称Hstore
3）regionserver维护region，处理对这些region的IO请求
4）regionserver负责切分在运行过程中变得过大的region
5）regionserver提供行级锁
注：
1）Hregionserver：Hregion：Hstore = Column Family
2）Hstore：
- memStore：用户首先先写入MemStore。（flush操作）
- StoreFile：Hfile（compact合并，split操作）
3）hbase只有增加数据，所有更新和删除都是在compact过程中进行的。
4）用户写操作只要写入内存就可以立即返回，保证I/O高性能
5）同一台rs上的所有region共享相同的Hlog Files
6）每个update（或者说edit）都会被写到log，当通知客户端成功后，rs把数据再加载到内存中。
9、region是什么？
1）region按大小分割的，每个表开始只有一个region，随着数据增多，region不断增大，当增大到一个阀值的时候，region就会等分两个新的region，只会就会越来越多。
2）本质上是以行键排序的连续存储的区间
3）region最佳大小：1GB~2GB
4）regionserver：10~1000个region
5）不同的region分布到不同regionserver上
6）每个Hregion保存某段连续的数据，从开始主键（startRow）到结束主键(endRow)，通过Hregion从Hadoop的分布式文件系统上数据
region虽然是分布存储的最小单位，但并不是存储的最小单位
1）一个region由一个或者多个store组成，每个store保存一个 columns family
2）每个store又由一个memstore和0个至多个storeFile组成
3）memstore存储在内存中，storeFile存储在hdfs上
10、Hstore是什么？
Hstore：Hstore存储是Hbase存储的核心，由memstore和storeFile组成。
1）Hmemcache:内存中的缓存,保存着最近更新的数据，如果Hmemcache没有数据，将从hstores获取磁盘上的数据，每个列簇会有一个hstore集合，每个集合包含多个Hstorefiles文件（b+数结构）
2）Hregion定期调用flushcache()缓存里的内容写入到文件中，每次调用产生一个新的文件Hstorefile文件，从一个hstore或数据会访问所有的Hstotefile,很耗时，hstore.compact可以完成小文件到达文件的合并
11、Hlog是什么？
磁盘上的操作记录文件，记录这所有的更新操作，数据写入Hlog后，commit()调用才会返回给客户端。
数据的更新操作最先被记录在Hmemcache和Hlog中
12、Row key
行键，table的主键，Table中的记录按照Row key排序。类型为Byte array
1）不宜过长
2）分布均匀
13、Column Family
列族，table水平方向有一个或者多个Column Family组成，一个Column Family中可以由任意多个Column组成
14、Cloumn
列 格式为：familyName：columnName
列名称是编码在cell中的
不同的cell可以拥有不同的列
15、Version Number
版本号。默认值是时间戳。类型为long
16、Value（Cell）
具体的值。类型为Byte array
标签：客户 .com val alt 过程 管理 出现 ast cti
原文地址：https://www.cnblogs.com/gentlemanhai/p/10354550.html
