码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop伪分布式部署

时间:2015-06-09 21:41:39      阅读:111      评论:0      收藏:0      [点我收藏+]

标签:

一、Hadoop组件依赖关系:

技术分享

步骤

1)关闭防火墙和禁用SELinux

切换到root用户

关闭防火墙:service iptables stop

禁用SELinux

vim /etc/sysconfig/selinux 设置SELinux=disabled

2)设置静态IP

vim /etc/sysconfig/network-scripts/ifcfg-eth0

3)修改主机名(hostname)

vim /etc/sysconfig/network

4)IP与hostname绑定

作用:可以在window浏览器主页上输入IP地址加端口号访问linux下Hadoop的运行进程

vim /etc/hosts

内容显示如下

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

192.168.217.150 linux.chaofn.org linux

然后在window下的C:\Windows\System32\drivers\etc目录下有一个hosts文件,打开写入

192.168.217.150 linux.chaofn.org linux

5)设置SSH自动登录(所有守护进程通过SSH协议进行通信)

技术分享

免秘钥设置,方便namenode向datanode的访问

切换到普通用户

输入命令 ssh-keygen -t rsa

默认是在~/.ssh/目录下

drwx------ 2 chaofn chaofn 4096 May 20 20:00 .ssh 权限为700,要改为644

进入.ssh目录,有两个文件id_rsa  id_rsa.pub,一个是私钥,一个是公钥

然后复制一份id_rsa.pub,命令:cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys(这个操作实现了权限的更改)

测试.命令 ssh localhost

ssh linux.chaofn.org

6)Hadoop环境变量配置:

vim /etc/profile   添加如下内容:

#HADOOP
export HADOOP_HOME=/home/chaofn/opt/setup/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin

7)修改conf目录下的配置文件

配置core-site.xml

技术分享

配置hdfs-site.xml

技术分享

配置mapred-site.xml、masters、slaves

技术分享

8)格式化namenode

命令:hadoop namenode -format

注意格式化过程中出现的错误提示,仔细检查

9)启动Hadoop

命令:start-all.sh(启动方式有很多种)

通过jps命令查看五个进程是否全部启动

通过window的网页界面查看

输入hadoop-master.dragon.org:50030(我的域名是linux.chaofn.org)查看是否启动

注意一定要关闭linux下的防火墙,不然window无法访问

 

Hadoop伪分布式部署

标签:

原文地址:http://www.cnblogs.com/chaofn/p/4564350.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!