HBASE搭建教程-My

时间：2015-05-21 21:39:47 阅读：152 评论：0 收藏：0 [点我收藏+]

标签：

安装前一定要注意版本兼容！

重要的话说三遍，参考《HADOOP&HBASE&HIVE整合》中的兼容原则。

由于之前Hadoop是2.4，亲测在Hadoop2.4上hbase1.0.1是可以工作的。而0.94版本存在兼容性的问题。

配置

所有的配置文件位于附件中，供后来参考。

Hbase和hadoop一样在master端和slave端都需要配置，操作还是在master端配好后发送到slave并稍作修改。列一下参考信息：

Master：

hadoop-test1 192.168.70.28(内网地址) 10.58.121.175(外网地址)

Slaver：

hadoop-test2 192.168.70.29(内网地址) 10.58.121.176(外网地址)

过程

1.系统变量配置

2.HBase配置

3.Hadoop配置修改

4.同步系统时间

5.启动验证

系统变量配置

hosts中对于IP和名称，参见Hadoop配置。

在profile中加入解压后的文件位置（master+slave）

export HBASE_HOME=/usr/hbase-1.0.1
export PATH=$PATH:/usr/hbase-1.0.1/bin

Hbase配置

hbase-env.sh:

按需修改，里面有每个配置的说明，这里仅修改两项：

export JAVA_HOME=/usr/java/jdk1.7.0_01
export HBASE_MANAGES_ZK=true

其中第二句一定要有，表示使用hbase自带的zookeeper。

hbase-site.xml:

加入：

    <property>
		<name>hbase.rootdir</name>
		<value>hdfs://192.168.70.28:9000/hbase</value>
	</property>
	
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
	
	<property>
		<name>hbase.zookeeper.property.clientPort</name>
		<value>2181</value>
	</property>
	
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>hadoop-test2</value>
	</property>
	
	<property>
		<name>hbase.zookeeper.property.dataDir</name>
		<value>/usr/dataDir</value>
	</property>
	
	<property>
		<name>hbase.master.port</name>
		<value>60000</value>
	</property>
	
	<property>
		<name>hbase.master.info.port</name>
		<value>60010</value>
	</property>

其中rootdir是放在hdfs上的。后面的dataDir位置是在本地。dfs.replication要和hadoop的配置一样。

zookeeper.quorum是设置集群的地址列表，只需要写slave的地址。

60010端口是后面我们进行验证的web端口，这里要写上。

regionservers：

类似Hadoop的slave文件，写入slave的IP地址。（没有则新建）

配好后将hbase文件复制到slave节点，并清空slave的regionservers内容。

Hadoop配置

在hadoop的hdfs-site.xml中加入：

    <property>
    	<name>dfs.datanode.max.xcievers</name>
    	<value>4096</value>
    </property>

说明：该参数限制了datanode所允许同时执行的发送和接受任务的数量，缺省为256，hadoop-defaults.xml中通常不设置这个参数。这个限制看来实际有些偏小，高负载下，DFSClient 在put数据的时候会报 could not read from stream 的 Exception。

master 和 slave都需要配置。