码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop的完全分布式部署

时间:2019-08-22 23:41:15      阅读:107      评论:0      收藏:0      [点我收藏+]

标签:文件   https   key   red   pre   mapr   keygen   shuf   相同   

大纲

  • 机器环境及SSH预处理
  • hadoop安装部署

〇、Hadoop下载地址

采用apache官网下载地址进行下载
apache索引目录 Index of /dist

此处使用了 hadoop-3.1.2.tar.gz

一、分配机器环境

共3台机器
172.23.7.9
172.23.7.10
172.23.7.12

在每台机器使用hostname命令,查看机器命名
技术图片

在每台机器上hosts配置文件
vim /etc/hosts
技术图片

二、SSH配置

  • 1 创建ssh,或者使用已有的ssh
    创建ssh命令
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  • 2 将其配置为无密码登录
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
  • 3 修改/etc/ssh/sshd_config 文件

需要修改的 如果有注释 就打开注释

RSAAuthentication yes 
PubkeyAuthentication yes #这两项为打开公钥模式 
AuthorizedKeysFile .ssh/authorized_keys #配置公钥记录文件 
PasswordAuthentication yes #打开密码验证模式
  • 4 测试
ssh [hostname]
  • 问题:
    若出现如下问题
    ssh_exchange_identification: read: Connection reset by peer
    解决方案:
# root权限
vim /etc/hosts.allow

# 追加
sshd: 172.23.*

# 重启ssh
service sshd restart

三、分布式配置部署

选取172.23.7.9 为namenode,剩余两个节点为datanode

  • 1 修改hadoop-env.sh
    路径: ~/hadoop-3.1.2/sbin/hadoop-env.sh
#jdk绝对路径环境  因为要远程调用 ${java_home}找不到变量  
export JAVA_HOME=/usr/java/jdk1.8.0_141
  • 2 修改core-site.xml
    路径:~/hadoop-3.1.2/etc/hadoop/core-site.xml
<configuration>
<!-- 修改defaultFS为hadoop1-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://[namenode机器hostname]:9000</value>
    </property>
<!-- 修改了临时文件存放位置-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/apache/hadoop/tmp</value>
</property>
</configuration>
  • 3 修改hdfs-site.xml
    路径:~/hadoop-3.1.2/etc/hadoop/hdfs-site.xml
<configuration>
<!-- 将备份数修改为3,小于等于当前datanode数目即可-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<!-- 将secondary namenode改为hadoop2-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>[一台非namenode机器hostname]:50090</value>
</property>
<property>
       <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/name</value>
 </property>
 <property>
    <name>dfs.namenode.data.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/data</value>
 </property>
 <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
 </property>
</configuration>
  • 4 修改yarn-site.xml
    路径:~/hadoop-3.1.2/etc/hadoop/yarn-site.xml
<configuration>
<!-- 添加了yarn.resourcemanager.hostname 属性-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
</property>
 
<property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
</property>  
<!-- 添加了yarn.nodemanager.auxservices.mapreduce.shuffle.class属性-->
<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
  • 5 修改workers 配置
    路径:~/hadoop-3.1.2/etc/hadoop/workers
[datanode1即172.23.7.10 的hostname]
[datanode1即172.23.7.12 的hostname]

其他节点配置相同

启动

  • 1 namenode上格式化
路径:~/hadoop-3.1.2/bin
./hdfs namenode -format

如出现以下异常
java.lang.UnsupportedClassVersionError
检查jdk版本,并配置对应版本

J2SE 8 = 52 (0x34 hex),
J2SE 7 = 51 (0x33 hex),
J2SE 6.0 = 50 (0x32 hex),
J2SE 5.0 = 49 (0x31 hex),
JDK 1.4 = 48 (0x30 hex),
JDK 1.3 = 47 (0x2F hex),
JDK 1.2 = 46 (0x2E hex),
JDK 1.1 = 45 (0x2D hex).
  • 2 启动集群和yarn
路径:~/hadoop-3.1.2/sbin
./start-dfs.sh
./start-yarn.sh
  • 3 测试

3.1 每个节点查看进程:
jps

3.2 登录管理页面
http://[namenode的IP]:9870

Hadoop的完全分布式部署

标签:文件   https   key   red   pre   mapr   keygen   shuf   相同   

原文地址:https://www.cnblogs.com/valjeanshaw/p/11397288.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!