码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop2.7.1安装与配置

时间:2016-07-01 01:07:52      阅读:183      评论:0      收藏:0      [点我收藏+]

标签:

Hadoop2.7.1集群环境的搭建

s204、s205是我的两台服务器hostname,可以用你对应的ip或者hostname代替

工具/原料

 
  • jdk、ssh免登录

方法/步骤

 
  1. 1

    首先去Apache下载最新的安装包吧

    2.7.0是测试版,2.7.1是稳定版的就用这个吧

    技术分享
  2.  

    tar zxvf hadoop-2.7.1.tar.gz

    解压安装包

    技术分享
  3.  

    安装目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name

    技术分享
  4.  

    修改/home/yy/hadoop-2.7.1/etc/hadoop下的配置文件

    修改core-site.xml,加上

    <property>

            <name>fs.defaultFS</name>

            <value>hdfs://s204:9000</value>

        </property>

        <property>

            <name>hadoop.tmp.dir</name>

            <value>file:/home/yy/hadoop-2.7.1/tmp</value>

        </property>

        <property>

            <name>io.file.buffer.size</name>

            <value>131702</value>

        </property>

    技术分享
    技术分享
  5.  

    修改hdfs-site.xml,加上

    <property>

            <name>dfs.namenode.name.dir</name>

            <value>file:/home/yy/hadoop-2.7.1/dfs/name</value>

        </property>

        <property>

            <name>dfs.datanode.data.dir</name>

            <value>file:/home/yy/hadoop-2.7.1/dfs/data</value>

        </property>

        <property>

            <name>dfs.replication</name>

            <value>2</value>

        </property>

        <property>

            <name>dfs.namenode.secondary.http-address</name>

            <value>s204:9001</value>

        </property>

        <property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

        </property>

    技术分享
  6.  

    修改mapred-site.xml,加上

    <property>

            <name>mapreduce.framework.name</name>

            <value>yarn</value>

        </property>

        <property>

            <name>mapreduce.jobhistory.address</name>

            <value>s204:10020</value>

        </property>

        <property>

            <name>mapreduce.jobhistory.webapp.address</name>

            <value>s204:19888</value>

        </property>

    技术分享
  7.  

    修改yarn-site.xml,加上

    <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

        </property>

        <property>

            <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

            <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

        <property>

            <name>yarn.resourcemanager.address</name>

            <value>s204:8032</value>

        </property>

        <property>

            <name>yarn.resourcemanager.scheduler.address</name>

            <value>s204:8030</value>

        </property>

        <property>

            <name>yarn.resourcemanager.resource-tracker.address</name>

            <value>s204:8031</value>

        </property>

        <property>

            <name>yarn.resourcemanager.admin.address</name>

            <value>s204:8033</value>

        </property>

        <property>

            <name>yarn.resourcemanager.webapp.address</name>

            <value>s204:8088</value>

        </property>

        <property>

            <name>yarn.nodemanager.resource.memory-mb</name>

            <value>768</value>

        </property>

    技术分享
  8.  

    配置/home/yy/hadoop-2.7.1/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME,否则启动时会报error

    export JAVA_HOME=/home/yy/jdk1.8

    技术分享
    技术分享
  9.  

    配置/home/yy/hadoop-2.7.1/etc/hadoop目录下slaves

    加上你的从服务器,我这里只有一个s205

     

    配置成功后,将hadhoop复制到各个从服务器上

    scp -r /home/yy/hadoop-2.7.1 root@s205:/home/yy/

    技术分享
  10.  

    主服务器上执行bin/hdfs namenode -format

    进行初始化

     

    sbin目录下执行 ./start-all.sh 

    可以使用jps查看信息

     

    停止的话,输入命令,sbin/stop-all.sh

    技术分享
  11.  

    这时可以浏览器打开s204:8088查看集群信息啦

    到此配置就成功啦,开始你的大数据旅程吧。。。

    技术分享
  12.  

Hadoop2.7.1安装与配置

标签:

原文地址:http://www.cnblogs.com/snowbook/p/5631628.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!