码迷,mamicode.com
首页 > 系统相关 > 详细

ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者

时间:2014-11-23 23:30:25      阅读:250      评论:0      收藏:0      [点我收藏+]

标签:style   http   io   ar   color   os   sp   java   for   

各种纠结  期间ubuntu安装无数次 hadoop各种版本尝试无数次 都悲剧 然后看到这个www.linuxidc.com/Linux/2013-01/78391.htm  还是悲剧,稍加修改搞定之

一、安装JDK
1、下载并安装
        sudo apt-get install openjdk-7-jdk
        要求输入当前用户密码时输入密码,回车;
        要求输入YES/NO时,输入YES,回车,一路向下安装完成;
2、在命令行输入JAVA -VERSION查看是否安装成功
3、配置环境变量
        编辑文件/etc/profile,

        sudo gedit /etc/profile

        在文件最下面加入以下三行
        export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JAVA所在的实际目录)
        export PATH=$JAVA_HOME/bin:$PATH
        export CLASSPATH=.:$JAVA_HOME/lib/:$CLASSPATH
二、配置SSH免密码登录
1、安装所需软件
        sudo apt-get install install ssh
2、配置ssh免密码登录
        ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
        cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
3、验证是否成功
        ssh localhost
三、安装Hadoop
1、下载Hadoop至服务器,

       下载地址   archive.apache.org/dist/hadoop/common/hadoop-1.0.4/

        其实是下载到home的下载那个文件夹了,需要移动到/home下,然后才可以进行下一步解压
2、解压
        tar -xvf hadoop-1.0.4.tar
3、配置Hadoop

此处作一说明:很多安装教程会把hadoop放在/usr/local/下  这样的话 作下面几个文件的修改  就需要通过终端而且是用管理员权限去做,但本教程是/home下,所以可以直接gedit打开  在里面修改 根本不需要通过终端打开
        以下四个配置文件均在Hadoop解压文件夹的conf/目录下
        (1)、配置hadoop-env.sh
        修改JAVA_HOME:
        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
        (2)、配置core-site.xml
        修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
        <configuration>
            <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
            </property>
        </configuration>
        (3)、配置hdfs-site.xml
        修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
        </configuration>
        (4)、配置mapred-site.xml
        修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
        <configuration>
            <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
            </property>
          </configuration>
4、初始化HDFS

       在执行下面的命令之前 一定要做这一步 就是把解压出来的那个hadoop-1.0.4文件夹的内容直接放到/home下
        bin/hadoop namenode -format
5、启动所有Hadoop服务
        bin/start-all.sh
6、验证是否安装成功

       如果终端输入jps  出来6个
        打开浏览器,分别输入以下网址:
        http://localhost:50030 (MapReduce的Web页面)
        http://localhost:50070 (HDfS的web页面)
        如果能成功访问,则说明Hadoop安装成功

ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者

标签:style   http   io   ar   color   os   sp   java   for   

原文地址:http://blog.csdn.net/u011026968/article/details/41419293

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!