码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop 伪分布模式搭建(上)

时间:2015-03-01 15:46:13      阅读:173      评论:0      收藏:0      [点我收藏+]

标签:hadoop   hadoop伪分布式安装   hadoop环境搭建   

软件:

hadoop1.1.2、pietty(在windows系统下登录到linux虚拟机的远程登录软件)、winscp(在本地与远程计算机间安全的复制文件)、jdk-6u24-linux-i586.bin、virtualbox上安装的centos 系统(安装过程这里不说了)


安装步骤:

注:避免安装过程出现文件操作权限导致的问题,以下操作在root用户下进行。

1.安装ssh免密码登录

hadoop 运行过程需要远端管理hadoop 守护进程,linux 虚拟机没有ssh server,安装命令如下:

sudo apt-get install ssh

hadoop进程之间通信采用ssh(加密的通信协议)方式,避免每次都要输入密码,为了 自动化操作,,进行如下的配置:

首先生成密钥:

技术分享

命令“ssh-keygen -t rsa”表示使用rsa 加密方式生成密钥, 回车后,会提示三次输入信息,直接回车即可。然后进入密钥文件夹,执行命令:

技术分享

使用ssh 登录本机是因为hadoop 在本机部署时,需要使用ssh 访问。

验证是否可以免密码登录:

技术分享


2.安装jdk

将jdk安装到/usr/local目录下,"."解压文件

技术分享

为了以后方便,可以用mv命令重命名 jdk-6u24-linux-i586.bin为jdk

接下来,将jdk 的命令配置到环境变量中 

技术分享

配置完后,为了文件的配置立即生效,用该命令:

source  /etc/profile
检验是否安装成功:

技术分享


3.关闭防火墙

有setup命令调出关闭防火墙工具,关闭防火墙的目的是为了避免无谓的错误,防火墙本身的作用是,关闭不用的端口,避免服务器被攻击。实际工作中不这样做。

技术分享

选择 firewall configuration ,按回车键

技术分享

点空格,*消失,*存在表示防火墙被启用,之后tab键到ok,一步步退出

验证防火墙是否关闭:

技术分享

4.virtualbox网络的配置

这里采用的是host-only连接方式,host-only连接的特点:

虚拟机访问主机,用的是主机的VirtualBox Host-Only Network网卡的IP:192.168.56.1  ,不管主机“本地连接”有无红叉,永远通。


主机访问虚拟机,用是的虚拟机的网卡3的IP: 192.168.56.101  ,不管主机“本地连接”有无红叉,永远通。

虚拟机访问互联网,用的是自己的网卡2, 这时主机要能通过“本地连接”有线上网,(无线网卡不行)

开始配置:

技术分享


























在Linux里进行如下操作:

技术分享


注意:

上图 的gateway也就是网关地址为在virtualbox  host-only network 所手动设置的ip地址 ,意思是虚拟机通过它来与主机进行互相通信。

这样即使本机没有连接互联网,虚拟机和主机还是可以互相通信的。


5.设置dns解析

因为hadoop 集群之间通过主机名互相访问,所以必须设置dns 解析。使用gedit 编辑dns 解析文件

技术分享

在文件后面追加:

192.168.56.100   hadoop  (注意两者之间有空格)

保存关闭。

hadoop 伪分布模式搭建(上)

标签:hadoop   hadoop伪分布式安装   hadoop环境搭建   

原文地址:http://blog.csdn.net/zwto1/article/details/44002083

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!