码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop伪分布式集群搭建总结

时间:2019-10-12 10:52:33      阅读:260      评论:0      收藏:0      [点我收藏+]

标签:Opens   操作   ps命令   软件   显示   mapred   x64   设置   inux   

Hadoop伪分布式集群搭建总结

一、所需软件
VMware15!
CentOS6.5
JDK1.8
Hadoop2.7.3
二、安装
注意:
对文件进行编辑:输入a,表示对该文件进行编辑,最后保存该文件,操作为:点击键盘上的Esc按钮,然后输入英文的:字符,再输入wq,点击回车,完成文件的保存。

1、关闭防火墙和禁用SELINUX
(1)、永久关闭防火墙,重启Linux系统
技术图片
(2) 、禁用SELINUX:修改文件参数 重启Linux使其生效
技术图片
(3)、检查防火墙是否运行,显示下图即为关闭
技术图片
2、配置hostname与IP地址之间的对应关系
(1)、查看自己的IP
技术图片
(2)、查看自己的hostname
技术图片
(3)、配置对应关系
技术图片
注意:IP与hostname之间有空格
3、创建用户
(1),创建hadoop用户
技术图片
(2)、为hadoop用户设置密码
技术图片
4、配置 SSH免密登录
(1)、检查自己系统是否安装SSH
技术图片
注意:若没安装SSH则在有网的情况下可输入:yum install openssh-server 进行安装。
(2)、为hadoop用户配置SSH免密登录
技术图片
注意:一定要切换到hadoop用户下并进入“~”目录!
技术图片
注意:输入ssh-keygen -t rsa后一直回车即可!
然后进入.ssh目录进行以下操作
技术图片
注意:“authorized_keys”一定要准确!**``**
进入“~”目录为.ssh目录及其文件赋予相应权限
技术图片

5、JDK安装
(1)、创建存放软件目录
技术图片
(2)、上传解压jdk
技术图片
注意:确保红框内权限为hadoop的!如果为root,可进入root用户修改为hadoop, 命令为:chown –R hadoop:hadoop jdk-8u211-linux-x64.tar.gz ,然后重新进入hadoop用户进行解压
(3)、为jdk1.8.0_211创建软连接
技术图片
(4)、配置bashrc文件
技术图片
使配置文件生效
技术图片
(5)、验证JDK是否安装成功,显示下图即为成功
技术图片
6、hadoop安装及配置
(1)、上传解压hadoop
技术图片
注意:确保红框内权限为hadoop的!如果为root,可进入root用户修改为hadoop 命令为:chown –R hadoop:hadoop hadoop-2.7.3.tar.gz ,然后重新进入hadoop用户进行解压

(2)、进入hadoop配置文件目录进行相应文件配置
技术图片
配置core-site.xml vi core-site.xml
技术图片
注意:箭头所指应为自己的hostname
配置hdfs-site.xml vi hdfs-site.xml
技术图片
配置hadoop-env.sh vi hadoop-env.sh
技术图片
注意:此路径为JDK的安装目录
配置mapred-site.xml vi mapred-site.xml
技术图片
配置yarn-site.xml vi yarn-site.xml
技术图片
配置slaves vi slaves
技术图片
注意:此为自己的hostname
(3)、为hadoop-2.7.3创建软连接
技术图片
(4)、配置bashrc文件
技术图片
使配置文件生效
技术图片
(5)、创建hadoop相关数据目录
技术图片
(6)、格式化Namenode hadoop namenode -format
技术图片
注意:出现以上2个信息即为成功!如果出现要输入密码等情况,检查自己的SSH免密登录是否配置正确!!!
(7)、启动hadoop伪分布式集群
技术图片
注意:出现以上信息输入yes即可!!!
(8)、通过jps命令查看hadoop的启动进程
技术图片
注意:出现以上5个进程即为hadoop伪分布式集群启动成功

Hadoop伪分布式集群搭建总结

标签:Opens   操作   ps命令   软件   显示   mapred   x64   设置   inux   

原文地址:https://blog.51cto.com/14572091/2441615

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!