码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop集群配置过程中需要注意的问题

时间:2016-12-05 02:18:57      阅读:219      评论:0      收藏:0      [点我收藏+]

标签:三台   免密码登录   hadoop   alt   没有   profile   map   mapred   blog   

环境:VMwareWorkstation8.0 和 Ubuntu14.04

1. 使用三台虚拟机搭建Hadoop集群

2. 一定要在每台机器上配置ssh免密码登录

3. 由于需要给/etc/hosts文件配置3台虚拟机的IP,所以尽量给三台虚拟机设置静态IP。不然即使之前整个集群搭建成功了,但是当某一台的IP变化后,这个集群又不可以使用了。

例如报如下错误:技术分享

当重新将/etc/hosts中各个节点的ip以及mapred-site.xml中master节点的ip改正确后,在重新启动hadoop就好了,所以尽量设置静态ip。

4. 很多教程都会要求新建一个hadoop用户,如果对用户和用户组权限不太熟悉,个人觉得直接在root用户下去操作也可以,中间也不会出现没有访问权限的问题。

5. 对文件/etc/profile修改后,一定要使用source /etc/profile去执行一遍,不然配置的环境变量不会生效。

6. 重启虚拟机后,需要重新启动Hadoop,启动成功后,除了hadoop/bin目录之外,在其他地方使用hadoop命令报错“命令不存在”,很有可能是需要使用source /etc/profile来使该文件中关于hadoop安装位置的环境变量生效。

Hadoop集群配置过程中需要注意的问题

标签:三台   免密码登录   hadoop   alt   没有   profile   map   mapred   blog   

原文地址:http://www.cnblogs.com/JaneZSS/p/6132349.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!