mac下安装伪分布hadoop2.6.0和hbase1.0.1.1

时间：2015-09-02 17:23:59 阅读：256 评论：0 收藏：0 [点我收藏+]

标签：

1、安装JDK，我安装的是java1.7

2、创建管理员账户

3、安装ssh服务（如果已有跳过此步）

4、ssh无密码验证登陆

以上过程略，可参考ubuntu下安装hadoop一文。

5、下载并解压hadoop2.6.0安装包

tar -xzvf hadoop-2.6.0.tar.gz /Users/hadoop

6、配置hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml，yarn-site.xml。

hadoop-env.sh中加入JAVA_HOME路径：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75.jdk/Contents/Home

core-site.xml配置如下：

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/hadoop/hadoop-2.6.0/tmp</value>
    </property>
</configuration>

mapred-site.xml配置如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

hdfs-site.xml配置如下：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/Users/hadoop/hadoop-2.6.0/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/Users/hadoop/hadoop-2.6.0/tmp/dfs/data</value>
    </property>
</configuration>

yarn-site.xml配置如下：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

7、配置系统环境变量

打开/etc/profile加入以下内容：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75.jdk/Contents/Home
export HADOOP_HOME=/Users/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

8、格式化hdfs文件系统

hdfs namenode -format

9、启动hadoop服务

start-all.sh

安装正确的话，此时应该有以下5个java线程：

NameNode
DataNode
SecondaryNameNode
NodeManager
ResourceManager

在浏览器中输入localhost:50070可以查看hadoop集群概述

10、解压hbase安装包

tar -xzvf hbase-1.0.1.1-bin.tar.gz /Users/hadoop

11、配置hbase-env.sh、hbase-site.xml。

hbase-env.sh配置如下：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75.jdk/Contents/Home
export HBASE_MANAGES_ZK=true

hbase-site.xml配置如下：

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.tmp.dir</name>
        <value>/Users/hadoop/hbase-1.0.1.1/tmp</value>
    </property>
    <property>
        <name>zookeeper.session.timeout</name>
        <value>120000</value>
    </property>
</configuration>

12、启动hbase

首先启动hadoop，然后启动hbase

start-all.sh
start-hbase.sh

安装正确的话，应该有以下3个hbase相关线程：

HMaster
HRegionServer
HQuorumPeer

13、存在的问题

1）hadoop官网提供的安装包是32位的，安装到64位机器上会出现“

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable ”的提示，暂时未发现影响使用。如果想消除这条提示，可以在官网下载src源文件在64位机器上进行手动编译。

2）hbase的线程会出现自动中断的情况，目前尝试了网上找到的多种方法，依然没有解决，暂时只能通过重启hbase的方法处理该问题。

mac下安装伪分布hadoop2.6.0和hbase1.0.1.1

标签：

原文地址：http://www.cnblogs.com/yougzhao/p/4778953.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行