Hbase的数据结构基本要素:命名空间、表、行、列、单元格,region,时间戳。1.命名空间:NameSpaces的作用Table:表,所有的表都是命名空间的成员,即表必属于某个命名空间,如果没有指定,则在default默认的命名空间中。RegionServer group:一个命名空间包含了默认... ...
分类:
系统相关 时间:
2019-08-30 09:31:47
阅读次数:
96
1 详细异常 2 查询到的一些信息 https://community.hortonworks.com/questions/149867/orgapachephoenixcoprocessorhashjoincachenotfoundex.html 里面提到增加regionserver的这个参数来解 ...
分类:
Web程序 时间:
2019-07-27 13:14:09
阅读次数:
244
1.hbase的架构 Hbase主要由master,regionserver,zookeeper,client,hdfs文件系统构成. Zk:记录hbase的表的元数据信息 hamster:进行region的分配,发出操作指令 Hlog:记录HregionServer的操作日志,保证数据的可靠性 H ...
分类:
其他好文 时间:
2019-07-02 09:17:14
阅读次数:
97
Base节点的管理 1、服役(commissioning) 当启动regionserver时,regionserver会向Hmaster注册并开始接收本地数据,开始的时候,新加入的节点不会有任何数据,平衡器开启的情况下,将会有新的region移动到开启的RegionServer上。如果启动和停止进程 ...
分类:
其他好文 时间:
2019-05-31 01:16:50
阅读次数:
139
整体架构client负责访问hbase,并维护cachezookeeper负责master的主备切换;负责监控RegionServer的状态,将Regionserver的上线和下线信息实时通知给Master存储所有Region寻址入库;保存hbase的schema,包含有哪些table,每个table有哪些列簇master负责分配region到不同的RegionServer,既RegionServ
分类:
其他好文 时间:
2019-05-16 19:15:51
阅读次数:
148
老年代CMSgc回收算法对hbase的影响*CMS失败模式(CMSFailureMode)1、上文提到在正常的情况下CMS整个流程的暂停时间都是很短的,一般也就在10ms~100ms左右。2、然而这与线上的情况并不相符,线上集群在读写压力很大的情况下,经常会出现长时间的卡顿,有些卡顿甚至长达几分钟,导致很严重的读写阻塞,甚至会造成RegionServer和Zookeeper之间Session超时,
分类:
编程语言 时间:
2019-04-02 18:28:07
阅读次数:
251
在合并Region的过程中出现永久RIT怎么办?笔者在生产环境中就遇到过这种情况,在批量合并Region的过程中,出现了永久MERGING_NEW的情况,虽然这种情况不会影响现有集群的正常的服务能力,但是如果集群有某个节点发生重启,那么可能此时该RegionServer上的Region是没法均衡的。 ...
分类:
其他好文 时间:
2019-03-30 16:10:35
阅读次数:
302
Coprocessor方式二级索引 1. Coprocessor提供了一种机制可以让开发者直接在RegionServer上运行自定义代码来管理数据。通常我们使用get或者scan来从Hbase中获取数据,使用Filter过滤掉不需要的部分,最后在获得的数据上执行业务逻辑。但是当数据量非常大的时候,这 ...
分类:
其他好文 时间:
2019-03-25 14:58:31
阅读次数:
146
四、HBase 项目4.1、涉及概念梳理:命名空间4.1.1、命名空间的结构 1) Table:表,所有的表都是命名空间的成员,即表必属于某个命名空间,如果没有指定, 则在 default 默认的命名空间中。2) RegionServer group:一个命名空间包含了默认的 RegionServe ...
分类:
其他好文 时间:
2019-03-16 00:27:10
阅读次数:
211
HBASE基础命令总结 一,概述 本文中介绍了hbase的基础命令,作者既有记录总结hbase基础命令的目的还有本着分享的精神,和广大读者一起进步。本文的hbase版本是:HBase 1.2.0-cdh5.10.0。 二,HBase工具命令 上面的 master、regionserver、zooke ...
分类:
其他好文 时间:
2019-03-03 18:58:49
阅读次数:
1051