码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop全分布式安装

时间:2019-11-02 18:06:27      阅读:89      评论:0      收藏:0      [点我收藏+]

标签:bsp   免密   stop   html   usr   副本   secondary   value   tab   

1、统一安装jdk

这里准备4台虚拟机,给其他三台都安装jdk

分别更改hostname为slave1、slave2、slave3.   

vim /etc/sysconfig/network

hostname slave1

统一更改hosts文件vim /etc/hosts

IP master
IP slave1
IP slave2
IP slave3

vim /etc/sysconfig/selinux

配置

关闭防火墙

/etc/init.d/iptables stop

setenforce 0

getenforce

完成ssh免密登陆配置:将master公钥拷贝到3个节点~/.ssh文件夹下

scp authorized_keys slave1:~/.ssh

备份为分布式

cp -r hadoop/ hadoop_pseudo 

2配置hadoop环境变量

vim core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/src/hadoop-2.6.5/full</value>
  </property>
</configuration>

full:全分布式文件存放文件夹

vim hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>slave1:50090</value>
  </property>
</configuration>

副本数:2(存2个块)看2个块再3个节点副本搭配

slave1: secondarynode节点

vim slaves 配置hadoop从节点

slave1

slave2

slave3

分发hadoop包

scp -r hadoop slave1:/usr/local/src

 

hdfs namenode -format

start-dfs.sh

jps检查

 

观察错误,看日志

谁没起来区那个目录找日志 tail -100 hadoop-root-datanode-slave1.log

50070浏览器节点

分享一下hadoop官方文档地址:https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/ClusterSetup.html

 

hadoop全分布式安装

标签:bsp   免密   stop   html   usr   副本   secondary   value   tab   

原文地址:https://www.cnblogs.com/kb666666/p/11783050.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!