在Hbase使用中，除了进行预分区，rowkey合理的设计外，平时也会对系统的内置参数进行优化 1、 堆内存的优化 HBase-site.xml <!-- regionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%,而且regionserver ...
分类：
其他好文 时间：
2020-03-22 16:00:01
阅读次数：
73
高可用 在HBase中HMaster负责监控HRegionServer的生命周期，均衡RegionServer的负载，如果HMaster挂掉了，整个HBase集群就出问题了，所以HBase支持对HMaster的高可用配置。 高可用配置是为了解决主从架构的单点失效故障问题。所以要对Master进行一个 ...
分类：
其他好文 时间：
2020-03-14 20:20:21
阅读次数：
58
hbase调优 一.表的设计 1.设置预分区表 原因:前期region读写都集中到一个regionserver上,直到文件足够大时,才进行分区,这样会降低性能. 解决方案:建表是设置预分区,这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。 public static ...
分类：
其他好文 时间：
2019-12-30 14:28:10
阅读次数：
76
zookeeper：主要用于协调管理分布式应用程序； 1.实现master高可用；如果 active master由于异常宕机，zookeeper会检测到该宕机时间，并通过一定机制选举出新的master 2.管理系统核心元数据：当前系统中正常工作的regionserver集合，保存系统元数据表hba ...
分类：
数据库 时间：
2019-12-26 17:57:21
阅读次数：
139
hbase读写流程 读过程 client先从缓存中定位region位置，如果缓存中没有region位置，则从zookeeper的-ROOT-表，获取-ROOT-所在regionserver位置 通过查询-ROOT-的region服务器获取含有.META.表所在regionserver地址 Clien ...
分类：
数据库 时间：
2019-12-26 17:36:47
阅读次数：
90
在2.0之前HDFS中只有一个NameNode，但对于在线的应用只有一个NameNode是不安全的，故在2.0中对NameNode进行抽象，抽象成NamService其下包含有多个NameNode，但只有一个运行在活跃状态，因此需要zookeeper进行选举和自动转换。一旦active当掉之后zoo ...
分类：
其他好文 时间：
2019-12-07 20:56:20
阅读次数：
159
（1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemor ...
分类：
其他好文 时间：
2019-12-04 20:28:21
阅读次数：
76
kafka bin/kafka-server-start.sh config/server.properties & Hbase bin/hbase-daemon.sh start master bin/hbase-daemon.sh start regionserver Hbase 默认端口 16 ...
分类：
其他好文 时间：
2019-11-09 13:47:12
阅读次数：
75
这里主要讲hbase调优相关内容一、Hmaster高可用在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。首先在$HBASE_HOME/conf下创建一个backup-masters名称的文件
分类：
其他好文 时间：
2019-11-05 09:35:20
阅读次数：
76
基于Docker搭建大数据集群（七）Hbase搭建 一、安装包准备 "Hbase官网下载" ) "微云下载 | 在 tar 目录下" 二、版本兼容 三、角色分配 节点|Master|Regionserver | | cluster master|yes|no cluster slave1|backu ...
分类：
其他好文 时间：
2019-09-30 12:47:55
阅读次数：
103
