码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop 2.6.0 安装过程

时间:2015-04-06 21:50:41      阅读:213      评论:0      收藏:0      [点我收藏+]

标签:hadoop 安装   分布式   

最近才开始接触hadoop,最先要做的当然是安装hadoop 了,在安装hadoop之前需要作以下的一些准备

一个linux 环境,我使用vmware的虚拟机环境安装了centos
这个请自己百度一下吧,确实是太大了
jdk 1.6 以上的linux安装包
hadoop 2.6.0的安装包
注意,我使用的64位的linux,所以用的Java是64位的安装包

hadoop 集群支持三种模式
   1.单机模式
   2.伪分布是模式
   3.完全分布式
由于是学习使用,所以我安装第二种模式。

假设有一个已经安装好的linux环境,那么hadoop安装过程如下:

1. 安装Java
将上述java的安装包放到linux /usr/java目录下,赋给程序执行的权限
chmod +X jdk-6u45-linux-x64-rpm.bin
然后执行./jdk-6u45-linux-x64-rpm.bin 安装Java即可,
安装完成后还需要配置环境变量
vi ~/.bash_profile
加入下面这一段
export JAVA_HOME=/usr/java/jdk1.6.0_45
2.免密码ssh设置
命令如下
ssh-keygen -t rsa
然后一直enter,最后秘钥会保存在~/.ssh中,然后进入.ssh目录
执行如下命令
cp id_rsa.pub authorized_keys
最后使用ssh localhost 验证是否成功,如果不输入密码那就说明成功

3.解压hadoop
我提前将hadoop安装包放到了/tmp 目录下,然后进行解压
tar -zxvf  hadoop-2.6.0.tar.gz -C /hadoop

4.编辑 etc/hadoop/hadoop-env.sh,设置如下
export JAVA_HOME=/usr/java/lates
5.修改相关的配置文件

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

etc/hadoop/mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
5.验证是否安装成功
  1. 格式化文件系统      $ bin/hdfs namenode -format
  2. 启动dataNode和nameNode $ sbin/start-dfs.sh
  3. 使用浏览器管理namenode   http://localhost:50070/
   

hadoop 2.6.0 安装过程

标签:hadoop 安装   分布式   

原文地址:http://blog.csdn.net/hanfeng_1010/article/details/44906385

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!