标签:hadoop hadoop伪分布式安装 hadoop环境搭建
软件:
hadoop1.1.2、pietty(在windows系统下登录到linux虚拟机的远程登录软件)、winscp(在本地与远程计算机间安全的复制文件)、jdk-6u24-linux-i586.bin、virtualbox上安装的centos 系统(安装过程这里不说了)
安装步骤:
注:避免安装过程出现文件操作权限导致的问题,以下操作在root用户下进行。
1.安装ssh免密码登录
hadoop 运行过程需要远端管理hadoop 守护进程,linux 虚拟机没有ssh server,安装命令如下:
sudo apt-get install ssh
hadoop进程之间通信采用ssh(加密的通信协议)方式,避免每次都要输入密码,为了 自动化操作,,进行如下的配置:
首先生成密钥:
命令“ssh-keygen -t rsa”表示使用rsa 加密方式生成密钥, 回车后,会提示三次输入信息,直接回车即可。然后进入密钥文件夹,执行命令:
使用ssh 登录本机是因为hadoop 在本机部署时,需要使用ssh 访问。
验证是否可以免密码登录:
将jdk安装到/usr/local目录下,"."解压文件
为了以后方便,可以用mv命令重命名 jdk-6u24-linux-i586.bin为jdk
接下来,将jdk 的命令配置到环境变量中
配置完后,为了文件的配置立即生效,用该命令:
source /etc/profile检验是否安装成功:
3.关闭防火墙
有setup命令调出关闭防火墙工具,关闭防火墙的目的是为了避免无谓的错误,防火墙本身的作用是,关闭不用的端口,避免服务器被攻击。实际工作中不这样做。
选择 firewall configuration ,按回车键
点空格,*消失,*存在表示防火墙被启用,之后tab键到ok,一步步退出
验证防火墙是否关闭:
4.virtualbox网络的配置
这里采用的是host-only连接方式,host-only连接的特点:
在Linux里进行如下操作:
注意:
上图 的gateway也就是网关地址为在virtualbox host-only network 所手动设置的ip地址 ,意思是虚拟机通过它来与主机进行互相通信。
这样即使本机没有连接互联网,虚拟机和主机还是可以互相通信的。
5.设置dns解析
因为hadoop 集群之间通过主机名互相访问,所以必须设置dns 解析。使用gedit 编辑dns 解析文件
在文件后面追加:
192.168.56.100 hadoop (注意两者之间有空格)
保存关闭。
标签:hadoop hadoop伪分布式安装 hadoop环境搭建
原文地址:http://blog.csdn.net/zwto1/article/details/44002083