码迷,mamicode.com
首页 > 其他好文 > 详细

安装hadoop和配置hadoop,启动namenode和设置免密登录的详细解析!

时间:2018-04-08 18:27:15      阅读:303      评论:0      收藏:0      [点我收藏+]

标签:启动namenode和hadoop的配置

首先安装hadoop要安装好java的开发环境,配置好jdk

其实创建一个hadoop的用户

cd到这个用户的目录下

技术分享图片

创建一个apps的目录。以后所有的东西都解压进入apps

技术分享图片


解压后的目录中的文件如下

技术分享图片

这里lib是本地的库!

bin是自己的操作命令,

sbin是启动命令!

etc是配置文件

include是本地库的头文件!

我们的jar包在share文件中!

下图是share包中的目录

技术分享图片


剩下就在前面的etc/hadoop/目录下的配置文件进行配置对红线标注的配置文件进行修改

技术分享图片

这里我们先配置hadoop-env.sh

我们将JAVA_HOME的值设置在此处如下图,因为你要使用ssh远程连接,所以使用原有的${JAVA_HOME}行不通

技术分享图片

第二部在core-site.xml文件中进行配置

技术分享图片

上图中的配置第一个指定hadoop的文件系统,第二个指定集群每个主机的进程工作在哪个数据目录

第三修改hdfs.site.xml

技术分享图片

把数据保存两份,做个备份!


然后修改mapred-site.xml.template

技术分享图片

这里指定mapreduce运行的平台为yarn,否则他默认是local.

技术分享图片

别忘了执行这个命令


第四接下来配置yarn-site.xml

技术分享图片


装好之后,设置hadoop的环境变量!

技术分享图片

主要就是这两个!

然后使用scp命令将apps目录整个复制到其他主机上

技术分享图片

也将/etc/profile传过去

技术分享图片

然后使用

技术分享图片

这两个命令,一个是启动namenode节点,另一个是查看java的进程,这里用了看看namenode进行是否启动!

技术分享图片

这里就表示已经启动了。

然后我们可以在使用ip地址进行可视化查看这个文件系统的各种情况!


http://192.168.150.129:50070/dfshealth.html#tab-overview

这里192.168.150.129是我mini1这个台虚拟机的ip。又来做namenode节点的主机!


然后我们可能看到使用的空间为0

这是因为我们没有启动datanode .所以这里我们随便启动一个主机的datanode

注意一定su hadoop这个用户下运行

使用命令 hadoop-daemon.sh start datanode

然后使用jps命令查看是否启动datanode的进程

技术分享图片

如果在jps命令中没有DataNode那么你就查看,上述的/home/..../hadoop-hadoop-datanode-mini2.log

注意这里唯一与上图中的不同,在于它是log,而上图是out


技术分享图片


如果想要关闭这个datanode,可以使用

技术分享图片

这个命令。



讲用脚本启动所有的datanode,和namenode

这里需要修改slaves的配置文件,

技术分享图片

将其修改

技术分享图片

可以将脚本话启动mini2和mini3作为datanode,mini1启动为namenode,(这里脚本就在mini1中运行)

是要不断的输入密码。所以可以使用免密登录!!!!

情形是:我想在mini1中登录mini2,mini3然后可以免密码登录!


我们可以在mini1中使用命令ssh-keygen产生秘钥

技术分享图片

然后依次拷贝到其他主机上

技术分享图片

然后就可以正常使用了

技术分享图片

这里我们看出来完全不用输入密码就可以直接启动!!!

配置完全后我们可以直接启动脚本!将slaves里面配置的全部启动!!

技术分享图片

我们可以看出来,并没有输入任何密码

当然我们也可以使用命令直接将全部的都停止掉stop-dfs.sh

技术分享图片

安装hadoop和配置hadoop,启动namenode和设置免密登录的详细解析!

标签:启动namenode和hadoop的配置

原文地址:http://blog.51cto.com/ji123/2095734

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!