码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop-0.20.2安装配置

时间:2015-09-27 17:29:05      阅读:178      评论:0      收藏:0      [点我收藏+]

标签:

该环境在Vmware Workstation 12 上安装配置一共三台机器master,slave1,slave2.

操作系统:Cenos 7.0

hadoop 版本:hadoop-0.20.2,版本比较老,资料比较多,便于入门学习。

官网找不到可以在http://pan.baidu.com/s/1eQFFBH4下载。

1.基本环境准备(3台机器)

  1. VMware上生成三台装有centos 7的机器,主机名分别命名为master,slave1, slave2。(时间可以通过复制的方式)
  2. 网络配置:每个节点都配置静态IP。修改/etc/hosts文件:

    192.168.2.1 master

    192.168.2.2 slave1

    192.168.2.3 slave2 

2.java环境配置(3台机器)(由于不清楚默认的java安装环境,这里重新安装配置了jdk1.6.0_45)

  1. 查看本机上安装的java   java -version  rpm -qa | grep java
  2. 卸载 yum  -y remove java
  3. 下载安装jdk:http://download.csdn.net/download/javahr/7291125
  4. 降下的修改为可执行文件:chmod +x  javaXXX.bin
  5. 运行 ./jdk-6u45-linux-x64.bin
  6. 便于管理,将java安装到/usr/java     mkdir /usr/java         mv  jdk1.6.0_45  /usr/java
  7. 配置环境变量:在~/.bashrc 文件中加入  

    export JAVA_HOME=/usr/java/jdk1.6.0_45
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin

         8.javac 查看安装结果

3.ssh免密码登陆

    这是集群配置中很基础的部分,就不多写了,很简单,但是很中要。最后的结果是人任意两个节点之间可以免密码登陆,在master结点上ssh slave1 ssh slave2,ssh master...

3.Hadoop-0.20.2安装配置(在一台机器上安装配置好后复制到其他节点上,少量修改即可

 1.hadoop的安装很简单,只需在上面的链接中下载hadoop源码,选个合适的目录解压缩就可以了。

  tar -xzvf hadoop-0.20.2.tar.gz

       mv hadoop-0.20.2   /home/hadoop/  (我的安装目录)

   2.hadoop的配置内容比较多,这里介绍几个重要的:

          (1)vim  ~/.bashrc 增加

                export HADOOP_HOME=/home/hadoop/hadoop-0.20.2

    export JAVA_HOME=/usr/java/jdk1.6.0_45

    export JRE_HOME=$JAVA_HOME/jre

    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib:$HADOOP_HOME/bin

        (2)vim  $HADOOP_HOME/conf/hadoop-env.sh

               # The java implementation to use. Required.

    export JAVA_HOME=/usr/java/jdk1.6.0_45

    (3)vim $HADOOP_HOME/conf/core-site.xml

    <configuration>

    <property><name>fs.default.name</name><value>hdfs://master:9000</value></property>         #复制后改为相应的ip和端口号
    </configuration>

        (4)vim $HADOOP_HOME/conf/hdfs-site.xml   

    <configuration>

    <property><name>dfs.replication</name><value>2</value></property>   //副本数
    <property><name>dfs.data.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/data/</value></property>      //本地数据存储目录,自己设置
    <property><name>dfs.name.dir</name><value>/home/hadoop/hadoop-0.20.2/storage/name/</value></property> 
    </configuration>

        (5)vim  $HADOOP_HOME/conf/mapred-site.xml

    <configuration>

    <property><name>mapred.job.tracker</name><value>master:9001</value></property>    //复制后其他节点修改
    </configuration>

   (6)vim master

             master

         (7)slaves

     slave1

    slave2

 3.启动。在hadoop安装目录的bin子目录下有些脚本用于hadoop的启动和关闭。

   执行hadoop namenode -formate 格式化文件系统

   执行start-all.sh 启动后台进程。

  4.查看安装结果。在jdk的安装目录的bin子目录下的jps命令。可用于检查后台进程,如果进程都看启动了,表明安装成功了。

     技术分享   

 

             

     

 

hadoop-0.20.2安装配置

标签:

原文地址:http://www.cnblogs.com/wxquare/p/4841294.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!