码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop入门-centos7.2安装hadoop2.8

时间:2018-06-18 13:57:43      阅读:619      评论:0      收藏:0      [点我收藏+]

标签:文件夹权限   代码   下载   blank   ...   技术分享   www   3.5   mapr   

1. 安装准备

  (1)必须安装jdk:

    因为hadoop是基于Java实现的,所有必须安装jdk

    是JDK不是jre

    技术分享图片

    jdk1.7

    jdk1.8

  (2)系统位数

    技术分享图片

    技术分享图片

  (3)创建专用用户

    useradd hadoop

    passwd hadoop  

    为hadoop用户授予将要使用的文件夹权限

    使用的文件夹有安装文件夹、数据存放文件夹(可以自定义)。

    ps:lz放在了home/hadoop文件夹

2. hadoop下载

  技术分享图片

  推荐下载二进制(binary)不需要自己编译。hadoop2.8.4大约230M

  

   ps:Linux下直接运行下载:wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar.gz

     

  解压

    tar xzf hadoop-2.8.4.tar.gz 

  hadoop目录几个如下

    技术分享图片

    先记住这三个文件即可

 3. hadoop配置

  3.1添加hadoop环境

    在hadoop用户下配置hadoop环境(只对hadoop用户有效)

    

    技术分享图片

    在hadoop的环境变量配置文件中添加下面代码

    

        

      技术分享图片

     ps:最后一行PATH=...本来就有的,只要用冒号(英文)分割,加入新加入的环境变量名称即可。(类似win中path,使用分号分隔的情况)

    重新加载环境变量配置文件

    技术分享图片

    测试是否成功:

      hadoop version

      技术分享图片

 

    3.2 配置hadoop-env.sh

     位置:在hadoop/etc/hadoop下

      技术分享图片

      

      加入Java的路径

      技术分享图片

 

      ps:建议使用决路径,不推荐使用${JAVA_HOME},lz使用这种hadoop找不到JAVA_HOME 。(可能是个别原因)

      3.3 配置core-site.xml文件

 技术分享图片

      写入下列内容

      技术分享图片

      ps:hadoop用户必要有临时目录读写权限,最好所有者是hadoop

      ps:确保端口被占用

 

      3.4 配置hdfs-site,xml

      技术分享图片

 

      技术分享图片

      写入冗余份数,默认3份。

   3.5 配置mapred-site.xml

    使用mapred-site.xml.template模板复制得到mapred-site.xml

    技术分享图片

      进行配置

      技术分享图片

 

技术分享图片

   3.6配置yarn-site.xml

    技术分享图片

 

4启动hadoop

  4.1.格式化

  技术分享图片

   技术分享图片

技术分享图片

      失败原因分析:

        权限问题

        Java环境变量

   4.2 启动hdfs

     需要入三次密码hadoop账户密码

      技术分享图片

技术分享图片

 

      

  4.3 启动 yarm

     技术分享图片

      

      使用jps查看是否启动成功

 

      技术分享图片

   4.4浏览器查看

    技术分享图片

    Linux机器上使用浏览器查看

    技术分享图片

 

5.总结

   出现失败的原因主要是hadoop的权限和Java问题

 

hadoop入门-centos7.2安装hadoop2.8

标签:文件夹权限   代码   下载   blank   ...   技术分享   www   3.5   mapr   

原文地址:https://www.cnblogs.com/qingkongwuyun/p/9194942.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!