码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop2.6环境搭建

时间:2015-03-19 17:55:26      阅读:199      评论:0      收藏:0      [点我收藏+]

标签:

Hadoop-2.6.0环境搭建

所需资源:hadoop-2.6.0.tar.gz  Hadoop-2.6.0-src.tar.gz   jdk-8u40-linux-i586.tar.gz

 

第一步:先安装配置JDK(如果事先有配置好JDK,这步可以略过)

   sudo mkdir /usr/lib/jvm

   sudo tar zxvf jdk-8u40-linux-i586.tar.gz –C /usr/lib/jvm

   修改环境变量(如果没安装vim,可先安装:sudo apt-get install vim)

   sudo vim /etc/profile

   添加

技术分享 

   配置完成后,运行

技术分享 

第二步:安装Hadoop

   sudo tar zxvf hadoop-2.6.0.tar.gz(注意不是源码)

   创建一个指向Hadoop安装目录的环境变量

   sudo vim /etc/profile

   添加

技术分享 

安装完成后,运行

 技术分享

第三步:配置SSH

  首先安装ssh

  sudo apt-get install ssh

  然后基于空口令创建一个新SSH密钥,以启用无密码登录

  ssh-keygen –t rsa –P ‘’ –f ~/.ssh/id_rsa

  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  验证

  ssh localhost

 技术分享

 

第四步:配置hadoop的不同模式,默认为本机模式,故无需配置。现在我们配置的是伪分布模式

Hadoop2.6.0的配置文件路径为

 技术分享

(1)       修改配置文件hadoop-env.sh,加入JAVA_HOME

sudo vim hadoop-env.sh

 技术分享

需要给该文件添加执行权限:sudo chmod +X hadoop-env.sh

再让该文件立即生效:source hadoop-env.sh

(2)       修改配置文件yarn-env.sh,加入JAVA_HOME

sudo vim yarn-env.sh

技术分享 

需要给该文件添加执行权限:sudo chmod +X yarn-env.sh

再让该文件立即生效:source yarn-env.sh

 

(3)       修改配置文件mapred-env.sh,加入JAVA_HOME

sudo vim mapred-env.sh

技术分享 

需要给该文件添加执行权限:sudo chmod +X mapred-env.sh

再让该文件立即生效:source mapred-env.sh

 

(4)       修改配置文件core-site.xml(里面的configuration都是空的,需要我们添加)

     sudo vim core-site.xml

技术分享 

(5)       修改配置文件hfgs-site.xml(里面的configuration都是空的,需要我们添加)

     sudo vim hdfs-site.xml

 技术分享

(6)       修改配置文件mapred-site.xml(里面的configuration都是空的,需要我们添加。文件下是mapred-site.xml.template,可以先修改该文件,在复制改名为mapred-site.xml即可)

     sudo vim mapred-site.xml

技术分享 

(7)       修改配置文件yarn-site.xml(里面的configuration都是空的,需要我们添加,hadoop2.0以后,将mapreduce在yarn中运行,具体可阅读hadoop权威指南第三版)

     sudo vim yarn-site.xml

技术分享 

第五步:启动hadoop并验证

(1)       格式化HDFS文件系统

hadoop namenode –formate

(2)       启动hdfs

 技术分享

可以通过http://localhost:50070查看

技术分享 

(3)       启动yarn(使用jps可以发现localhost启动了ResourceManager进程)

技术分享 

Hadoop2.6环境搭建

标签:

原文地址:http://www.cnblogs.com/hadoop-start/p/4350827.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!