分布式HBase-0.98.3环境搭建

标签：des   style   class   blog   code   java   

Hbase是一个分布式,版本化(versioned)，构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper，构造HDFS基础上的分布式Hbase。

1 安装环境

操作系统：Ubuntu-12.04     

JDK版本：jdk1.7.0_51  

计算机台数：2 （master:192.168.44.130   slave1:192.168.44.131）

2 预安装配置

安装Hadoop-2.2.0集群

安装SSH及设置SSH免密码登录

配置/etc/hosts 及/etc/hostname

3 启动停止Hbase

启动 

bin/start-hbase.sh

停止

bin/stop-hbase.sh

4 环境变量

在文件conf/hbase-env.sh中加入

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51

export HBASE_HEAPSIZE=4096

 5 设置ulimit 和 nproc

HBase是数据库，会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的，会导致FAQ: Why do I see "java.io.IOException...(Too many open files)" in my logs?异常。所以你需要修改你的最大文件句柄限制。可以设置到10k. 你还需要修改 hbase 用户的 nproc，如果过低会造成OutOfMemoryError异常。

在文件 /etc/security/limits.conf （其中hadoop是运行Hbase和Hadoop的用户）添加一行

hadoop - nofile 32768


hadoop soft/hard nproc 32000

另外，在 /etc/pam.d/common-session 加上这一行

session required pam_limits.so

否则在 /etc/security/limits.conf上的配置不会生效.还有注销再登录，这些配置才能生效!

6 配置

　　除非运行在实现了持久化同步(sync)的HDFS上，HBase 将丢失所有数据。Sync必须显式开启。即 dfs.support.append 同时在客户端和服务器端设为真，客户端： hbase-site.xml ，服务器端： hdfssite.

xml。修改后必须重启集群。

　　一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers (Hadoop的作者把这个单词拼错了).配置这个文件conf/hdfs-site.xml里面的xceivers参数，至少要有4096。

hbase-site.xml

<property> 
    <name>dfs.support.append</name> 
    <value>true</value> 
</property>

hdfs-site.xml

<property> 
    <name>dfs.support.append</name> 
    <value>true</value> 
</property>

完全分布式模式的还需要修改conf/regionservers，一行写一个host (就像Hadoop里面的 slaves 一样). 列在这里的server会随着集群的启动而启动，集群的停止而停止.

在hbase-env.sh里将HBASE_CLASSPATH环境变量加上HADOOP_CONF_DIR。

7 分发

scp -r hbase-0.98.3-hadoop2 slave1:~/

8 运行和确认你的安装

首先确认你的HDFS是运行着的。你可以运行HADOOP_HOME中的 bin/start-hdfs.sh 来启动HDFS.你可以通过put命令来测试放一个
文件，然后有get命令来读这个文件。通常情况下Hbase是不会运行mapreduce的。所以比不需要检查这些。
如果你自己管理ZooKeeper集群，你需要确认它是运行着的。如果是Hbase托管，ZoopKeeper会随Hbase启动。

一旦Hbase启动，可以建表，插入数据，scan你的表，还有disable这个表，最后把它删掉。

分布式HBase-0.98.3环境搭建,布布扣,bubuko.com

分布式HBase-0.98.3环境搭建

标签：des   style   class   blog   code   java   

原文地址：http://www.cnblogs.com/fesh/p/3804072.html