码迷,mamicode.com
首页 > 其他好文 > 详细

NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr4.8.1部署(二)

时间:2015-07-23 15:38:42      阅读:135      评论:0      收藏:0      [点我收藏+]

标签:hadoop nutch hbase



Precondition:
hadoop 2.7.1
hbase 1.0.1.1 / hbase 0.98.13

192.168.1.106 ->master
192.168.1.105 ->slave / regionservers


hbase部署

直接下载hbase bin文件

hbase1.0.1.1 还有hbase 0.98.13 和hadoop2.7.1 / hadoop 2.5.2 配合并没有问题。只不过

Nutch2.3 似乎和hbase 0.98.13 配合比较好。

1. 配置hbase-site.xml

<configuration>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>192.168.1.105,192.168.1.106</value>
</property>
<property>
      <name>hbase.master</name>
      <value>192.168.1.106:60000</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/disk2/hbase/hbase-1.0.1.1/tmp</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/disk2/hbase/hbase-1.0.1.1/zookeepertmp</value>
</property>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://192.168.1.106:9000/hbase</value>
</property>
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
</configuration>


2. 配置regionservers,只把192.168.1.105作为regionservers

true > regionservers

echo 192.168.1.105 >> regionservers

3. 配置hbase-env.sh

export JAVA_HOME=/disk2/java/jdk1.8.0_45

4. 将hbases整个目录复制到其他机器中。
scp -r hbase/ 192.168.1.105:/disk2/

5. 启动

bin/start-hbase.sh(先启动hadoop)

6. 测试查看

http://192.168.1.106:60010/master-status (0.98.13)

http://192.168.1.106:16010/master-status (1.0.1.1)

7. 过程中最多的问题是HMaster 和 HRegionServer不能共存,经常其中一个就退出:

master.HMasterCommandLine: Master exiting
java.lang.RuntimeException: HMaster Aborted

解决办法:

rm /tmp/hbase-root/ -rf
bin/hbase-cleanup.sh --cleanAll
bin/zookeepers.sh clear

版权声明:本文为博主原创文章,未经博主允许不得转载。

NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr4.8.1部署(二)

标签:hadoop nutch hbase

原文地址:http://blog.csdn.net/butyesbutno/article/details/47022005

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!