码迷,mamicode.com
首页 > 其他好文 > 详细

大数据高可用集群环境安装与配置(07)——安装HBase高可用集群

时间:2019-12-28 22:46:27      阅读:86      评论:0      收藏:0      [点我收藏+]

标签:family   art   ESS   span   存储   keep   logs   强制   targe   

1. 下载安装包

登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html

 

2. 执行命令下载并安装

cd /usr/local/src/
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.1.8/hbase-2.1.8-bin.tar.gz
tar -zxvf hbase-2.1.8-bin.tar.gz
mv hbase-2.1.8 /usr/local/hbase/

 

3. 修改服务器系统环境变量

所有服务器都需要按要求修改配置

vi /etc/profile

在尾部添加下面配置

export HBASE_HOME=/usr/local/hbase/
export PATH=$PATH:$HBASE_HOME/bin

保存退出后,运行命令,让配置马上生效

source /etc/profile

 

4. 配置HBase的Java安装路径

vi /usr/local/hbase/conf/hbase-env.sh

在尾部添加下面配置

export JAVA_HOME=/usr/local/java/jdk
export HBASE_MANAGES_ZK=false

 

5. 配置hbase-site.xml

官方文档配置说明:https://hbase.apache.org/book.html

vi /usr/local/hbase/conf/hbase-site.xml

在配置中添加下面代码

<configuration>
    <!-- hbase在hadoop的HDFS中的存储路径 -->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://nameservice/hbase</value>
    </property>
    <!-- 设置zookeeper集群地址 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master,master-backup</value>
    </property>
    <!-- 设置zookeeper的数据存放目录 -->
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/zookeeper</value>
    </property>
    <!-- 是否开启完全分布式配置 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <!-- RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的RegionServer接管 -->
    <property>
        <name>zookeeper.session.timeout</name>
        <value>180000</value>
    </property>
    <!-- Client端与zk发送心跳的时间间隔 -->
    <property>
        <name>hbase.zookeeper.property.tickTime</name>
        <value>6000</value>
    </property>
    <!-- 在当前ReigonServer上单个Reigon的最大存储空间,单个Region超过该值时,这个Region会被自动split成更小的region -->
    <property>
        <name>hbase.hregion.max.filesize</name>
        <value>5368709120</value>
    </property>
    <!-- 在flush时,当一个region中的Store(Coulmn Family)内有超过7个storefile时,则block所有的写请求进行compaction,以减少storefile数量。 -->
    <property>
        <name>hbase.hstore.blockingStoreFiles</name>
        <value>30</value>
    </property>
    <!-- block的等待时间 -->
    <property>
        <name>hbase.hstore.blockingWaitTime</name>
        <value>90000</value>
    </property>
    <!-- 减少因内存碎片导致的Full GC,提高整体性能 -->
    <property>
        <name>hbase.hregion.memstore.mslab.enabled</name>
        <value>true</value>
    </property>
    <!-- memstore大小,当达到该值则会flush到外存设备 -->
    <property>
        <name>hbase.hregion.memstore.flush.size</name>
        <value>268435456</value>
    </property>
    <!-- 强制刷新之前,RegionServer中所有memstore的最大大小(默认值为:hbase.regionserver.global.memstore.size 的95%),当由于内存限制而导致更新被阻塞时,系统会以尽可能小的刷新量刷新数据,此值中的默认值特意设置为空,以遵守旧的 hbase.regionserver.global.memstore.lowerLimit 属性 -->
    <property> 
        <name>hbase.regionserver.global.memstore.size.lower.limit</name> 
        <value>0.36</value> 
    </property>
    <!-- hbase.hregion.memstore.flush.size 这个参数的作用是当单个Region内所有的memstore大小总和超过指定值时,flush该region的所有memstore。RegionServer的flush是通过将请求添加一个队列,模拟生产消费模式来异步处理的。那这里就有一个问题,当队列来不及消费,产生大量积压请求时,可能会导致内存陡增,最坏的情况是触发OOM。这个参数的作用是防止内存占用过大,当ReigonServer内所有region的memstores所占用内存总和达到heap的40%时,HBase会强制block所有的更新并flush这些region以释放所有memstore占用的内存。 -->
    <property> 
        <name>hbase.regionserver.global.memstore.upperLimit</name> 
        <value>0.4</value> 
    </property> 
    <!-- 当一个region里的memstore占用内存大小超过hbase.hregion.memstore.flush.size两倍的大小时,block该region的所有请求,进行flush,释放内存。虽然我们设置了region所占用的memstores总内存大小,比如64M,但想象一下,在最后63.9M的时候,我Put了一个200M的数据,此时memstore的大小会瞬间暴涨到超过预期的hbase.hregion.memstore.flush.size的几倍。这个参数的作用是当memstore的大小增至超过hbase.hregion.memstore.flush.size 2倍时,block所有请求,遏制风险进一步扩大 -->
    <property> 
        <name>hbase.hregion.memstore.block.multiplier:</name> 
        <value>2</value> 
    </property>
    <!-- RegionServer的请求处理IO线程数 -->
    <property>
        <name>hbase.regionserver.handler.count</name>
        <value>30</value>
    </property>
    <!-- 每次获取行锁的超时时间,默认为30s -->
    <property>  
        <name>hbase.rowlock.wait.duration</name>  
        <value>90000</value>
    </property>  
    <!-- 客户端每次获得rs一次socket时间 -->
    <property>  
        <name>hbase.regionserver.lease.period</name>  
        <value>180000</value>
    </property>  
    <!-- rpc超时时间 -->
    <property>  
        <name>hbase.rpc.timeout</name>  
        <value>180000</value>
    </property>
    <!-- 客户端每次scan|get的超时时间 -->
    <property>  
        <name>hbase.client.scanner.timeout.period</name>  
        <value>180000</value>
    </property>  
    <!-- 客户端每次scan的一个next,获得多少行,默认1  -->
    <property>  
        <name>hbase.client.scanner.caching</name>  
        <value>100</value>
    </property>  
</configuration>

 

6. 配置节点服务器地址

vi /usr/local/hbase/conf/regionservers

修改为下面配置

node1
node2
node3

 

7. 复制hdfs-site.xml到HBase的配置路径下

cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml /usr/local/hbase/conf/

 

8. 创建backup-masters

echo master-backup > /usr/local/hbase/conf/backup-masters

 

9.将hbase同步到其他服务器

rsync -avz /usr/local/hbase/ master-backup:/usr/local/hbase/
rsync -avz /usr/local/hbase/ node1:/usr/local/hbase/
rsync -avz /usr/local/hbase/ node2:/usr/local/hbase/
rsync -avz /usr/local/hbase/ node3:/usr/local/hbase/

 

8. 让hbase支持LZ4压缩,减少磁盘空间的占用

每台服务器都运行下面代码,安装lz4

yum install lz4
yum install lz4-devel -y
mkdir /usr/local/hbase/lib/native
ln -s /usr/local/hadoop/lib/native /usr/local/hbase/lib/native/Linux-amd64-64

 

9. 启动服务

在master服务器启动HBase服务

/usr/local/hbase/bin/start-hbase.sh

关闭服务

/usr/local/hbase/bin/stop-hbase.sh

 

10. 检查服务是否已正常启动

在master与master-backup中输入

jps

如果显示下面服务,则表示服务已正常启动

4669 HMaster

在各个node节点服务器中输入jps,检查是否已运行下面服务

11224 HRegionServer

打开浏览器,检查hbase是否启动成功

  • master

http://192.168.10.90:16010/master-status

  • backup-master

http://192.168.10.91:16010/master-status

 

版权声明:本文原创发表于 博客园,作者为 AllEmpty 本文欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则视为侵权。

作者博客:http://www.cnblogs.com/EmptyFS/

大数据高可用集群环境安装与配置(07)——安装HBase高可用集群

标签:family   art   ESS   span   存储   keep   logs   强制   targe   

原文地址:https://www.cnblogs.com/EmptyFS/p/12113155.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!