码迷,mamicode.com
首页 > 其他好文 > 详细

伪分布式Hadoop2.x集群的搭建

时间:2016-05-24 11:54:36      阅读:164      评论:0      收藏:0      [点我收藏+]

标签:

1. 安装JDK

 a.查出当前已经安装的JDK  # rpm -qa | grep java 
 b.卸载原先自带的JDK  # rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 tzdata-java-2012j-1.el6.noarch java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
 c.解压安装 # tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

 d.配置JDK的环境变量  技术分享

  技术分享

  技术分享

2. 创建hadoop普通用户

   技术分享

   给hadoop用户设置sudo权限,更改/etc/sudoers ,如果该文件不可写设置权限 # chmod 640 /etc/sudoers

   技术分享

  技术分享

  切换到hadoop用户 # su - hadoop

3. 创建规范的软件安装文件

   技术分享  

  /opt/modules # 大型软件的安装路径
  /opt/softwares # 软件源程序安装包上传路径
  /opt/tools # 工具安装路径
  /opt/datas #数据文件存放路径

4. 配置handoop 

   a. 在/opt/modules 目录下,创建子目录。更改hadoop所属者和所属组为hadoop

    技术分享

  b. 用ftp将hadoop2.5.0.tar.gz 上传到/opt/softwares, 将hadoop2.5.0.tar.gz解压缩到 /opt/hadoop/modules/hadoop

     技术分享

  c. 在/opt/modules/hadoop/hadoop-2.5.0/etc/hadoop 修改hadoop-env.sh

     技术分享

  d. 修改core-site.xml 

    技术分享

 e. 修改hdfs-site.xml

    因为是伪分布式,所以这边备份数量为1

   技术分享

  f. 格式化nameNode

  技术分享 

  g.验证 

    1. 启动namenode, 用jps命令查看是否启动成功

     技术分享

   2. 启动datanode, 用jps命令查看是否启动成功

     技术分享

  3. 启动secondaryNameNode,用jps命令查看进程是否启动成功

     技术分享

   4. 通过web页面验证HDFS

 

 

伪分布式Hadoop2.x集群的搭建

标签:

原文地址:http://www.cnblogs.com/goahead327/p/5522861.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!