码迷,mamicode.com
首页 > 其他好文 > 详细

HDFS集群安装部署

时间:2019-03-07 20:55:17      阅读:248      评论:0      收藏:0      [点我收藏+]

标签:tag   value   .data   本地   成功   ima   https   java   rop   

准备环境

  • 三台centos7虚拟机(Node-1,Node-2,Node-3)
  • 配置虚拟机网络,保证三台机器可以互相ping通,并且和宿主机可以互相ping通。如果仅仅是作为虚拟机学习,可以关闭防火墙,避免后面的RPC端口或者web端口无法正常访问。
  • 创建普通用户dtouding
  • 安装jdk环境。

安装HDFS:

修改配置文件:

  • 修改hadoop-env.sh文件,指定jdk安装路径。
vi /bigdata/hadoop-2.8.5/etc/hadoop/hadoop-env.sh
添加:
export JAVA_HOME=/usr/local/jdk1.8.0_181
  • 修改core-site.xml文件,指定hadoop默认的文件系统为HDFS,并同时指定namenode为node-1:。
vi /bigdata/hadoop-2.8.5/etc/hadoop/core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdf://Node-1:9000/</value>

</property>

</configuration>

  • 修改hdfs-site.xml文件:

##指定namenode存储元数据的本地目录:

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/bigdata/hdpdata/name</value>

</property>

##指定datanode软件存放文件块的本地目录

<property>

<name>dfs.datanode.data.dir</name>

<value>/bigdata/hdpdata/data</value>

</property>

</configuration>

  • 将hadoop安装目录拷贝到其他两台机器上:

scp -r hadoop-2.8.5/ Node-2:/bigdata/

scp -r hadoop-2.8.5/ Node-3:/bigdata/

初始化namenode的工作目录:

  • 在Node-1机器上,初始化namenode的元数据目录,进入hadoop的bin目录下,执行命令:./Hadoop namenode -format

 技术图片

有上述提示代表初始化成功。

启动HDFS:

  • 启动namenode,进入hadoop下的sbin目录,执行命令:./hadoop-daemon.sh start namenode,用jps查看namenode进程是否启动成功。
  • 启动datanode,操作另外两台机器,进入hadoop下的sbin目录,执行命令:./hadoop-daemon.sh start datanode,用jps查看datanode进程是否启动成功

web界面访问:

  • http://192.168.0.111:50070/

HDFS集群安装部署

标签:tag   value   .data   本地   成功   ima   https   java   rop   

原文地址:https://www.cnblogs.com/gujianzhe/p/10492123.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!