码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop伪分布式搭建

时间:2015-04-20 14:57:53      阅读:127      评论:0      收藏:0      [点我收藏+]

标签:linux   hadoop   配置   伪分布式集群   

1.搭建伪分布式集群使用root用户登录

第一步:设置ip,为虚拟机设置一个ip地址:

技术分享

设置完成后要检测:service network restart 重启生效,然后ping命令测试该ip是不是能ping通。

2.更改主机名:

执行命令:vi  /etc/sysconfig/network

技术分享

更改之后再重新启动就会更改用户名,通过命令hostname即可查看

 

3.设置hostsip与主机名的绑定

执行命令 vi  /etc/hosts

在里面添加选项设置你的主机名与ip的对应关系

技术分享

Ping一下这个主机名看是不是能ping

注意这里在windows 里面由于没有设置应该是ping不通过的,设置c盘下windows文件夹下面system32这个文件夹里面driversetc下的hosts文件进行更改,添加对应你的主机名与ip地址

技术分享

技术分享

但是更改hosts时可能会因为权限问题被阻止更改,注意一下更改你对这个文件的权限

 

4.关闭防火墙

技术分享

第一行的命令即可查看防火墙的状态,关闭的命令:

Service iptables stop

技术分享

进行验证:

技术分享

Chkconfig 这个命令下面是服务的一些配置,查看会不会有重启的可能

执行命令 chkconfig --list

存在on的就是可能在某些条件下重启的

查找防火墙的重启的相关项 :

Chkconfig --list |grep iptables 


技术分享

关闭:chkconfig iptables off

技术分享

6 ssh-->secure shell

传输的数据是加过密的比较安全.

执行命令产生密钥:ssh-keygen  -t  rsa  位于当前用户下的~/.ssh这个文件夹中

 技术分享

查看目录下面有木有东西:

技术分享

继续执行下面新的命令

技术分享

ssh的免密码登录就搞定了

技术分享

7.安装jdk

使用winSCP传输hadoopjdk的压缩包放入linux系统,放在root/downloads里面

安装到usr/local里面,删除之前存在的文件

技术分享

cp  /root/Downloads/*  .  

技术分享

执行jdk但是这里遇到了权限的问题,接下来要更改权限

技术分享

颜色已经变了,原来显示的是白色的,现在是绿色了,应该就能运行了

执行原先的命令./jdk-6u24-linux-i586.bin

等待安装完成即可

技术分享

安装完了,还得配置环境变量的;

技术分享

技术分享

安装完成了。


8.安装hadoop

执行命令 tar  -zxvf  hadoop-1.1.2.tar.gz

技术分享

修改hadoop的配置文件

位于$HADOOP_HOME/conf目录下的修改四个配置文件:hadoop-env.shcore-site.xml

hdfs-site.xml mapred-site.xml

 

1.hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

 

2.core-site.xml

<configuration>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://hadoop0:9000</value>

        <description>change your own hostname</description>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop/tmp</value>

    </property>  

</configuration>

3.hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

 

4.mapred-site.xml

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>hadoop0:9001</value>

        <description>change your own hostname</description>

    </property>

</configuration>

 

进行格式化:

技术分享

技术分享

但是hadoop这里有警告

去掉启动过程中的警告

/etc/profile里面添加一行

技术分享

export  HADOOP_HOME_WARN_SUPPRESS=1或者其他的什么值只要不是空即可

技术分享

这样配置就完成了一个单机的配置

 

按照这几个步骤,在建立好的其他的虚拟机里面进行同样的配置。



hadoop伪分布式搭建

标签:linux   hadoop   配置   伪分布式集群   

原文地址:http://blog.csdn.net/wangyang1354/article/details/45148875

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!