码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop的伪分布式安装和部署流程

时间:2020-02-20 17:02:30      阅读:92      评论:0      收藏:0      [点我收藏+]

标签:red   test   success   其他   解压   sha   配置文件   slave   key   

在opt目录创建install software test other四个目录

/opt/installed #安装包
/opt/software #软件包
/opt/other #其他
/opt/test #测试

1.上传hadoop

  yum install lrzsz //安装lrzsz用于上传

  cd install //进入Install文件夹

  输入rz

  找到本地下载好的hadoop压缩包 点击hadoop-2.7.7.tar.gz上传

  因hadoop使用java编写,所以需要jdk

  rz jdk-8u181-linux-x64.tar.gz

2.解压hadoop

  tar   -zxvf   jdk-8u181-linux-x64.tar.gz -C /opt/software

  tar   -zxvf   hadoop-2.7.7.tar.gz -C  /opt/software #把角度看和hadoop解压到指定的software文件夹中

  cd ../software

  mv jdk1.8.0_221 jdk1.8 //把jdk改名

3.配置环境

  vim /etc/profile

  在末尾加:

      JAVA_HOME=/opt/software/jdk1.8
      CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
      Path=$PATH:$JAVA_HOME/bin

  :wq退出

  source /etc/profile  #linux内核 重新加载某个文件  

4. 测试 是否配置成功

   java -version

  显示如下则成功

  技术图片

 

 

 5.hadoop目录说明

   cd hadoop-2.7.7     #进入Hadoop安装目

  bin 普通命令目录
  etc #所有的配置文件
  include #C语言相关文件
  lib/native #C语言相关类库
  libexec #C语言相关类库2
  logs #日志文件
  sbin #管理命令目录
  share #jar包和源码

6.配置六个文件

  cd  etc/hadoop的目录

  1. vim hadoop-env.sh

    25行 JAVA_HOME=/opt/software/jdk1.8 #JDK的存放目录

    33行 export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop

  2.vim core-site.xml #我们在x-site中配置 实际上就是将系统原来的配置给覆盖了

    <configuration>

      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://主机名:9000</value>
      </property>

      <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop-2.7.7/tmp</value>
      </property>

    </configuration>

  3.vim hdfs-site.xml

    <configuration>

      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
    </configuration>

  4.cp mapred-site.xml.template  mapred-site.xml

    vim mapred-site.xml

    <configuration>

      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    </configuration>

  5.vim yarm-site.xml

    <configuration>

      <!-- Site specific YARN configuration properties -->
      <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>主机名</value>
      </property>

      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>

    </configuration>

  6.vim slaves

    加入 主机名

  vim /etc/hosts

   加入  ip地址 主机名

7.配置一下环境变量

  vim /etc/profile

  JAVA_HOME=/opt/software/jdk1.8
  CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  HADOOP_HOME=/opt/software/hadoop-2.7.7
  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  source /etc/profile

8.配置一个免密

  ssh-keygen #生成公钥

  ssh-copy-id 主机名

9.格式化文件系统

   hadoop namenode -format

  如果看到 has been successfully formatted. 则成功

10.运行服务器

  start-all.sh  开启

  stop-all.sh  关闭

Hadoop的伪分布式安装和部署流程

标签:red   test   success   其他   解压   sha   配置文件   slave   key   

原文地址:https://www.cnblogs.com/asksk/p/12336140.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!