码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop 2.6 测试环境搭建

时间:2015-04-20 20:43:38      阅读:168      评论:0      收藏:0      [点我收藏+]

标签:

 原文链接:http://www.errdev.com/post/3/

Hadoop2.6 是目前Hadoop的最新版本,从下面链接获得

http://hadoop.apache.org/releases.html#Download

同时需要准备至少一台Linux, 这里我用了CentOS 7。虚拟机装CentOS的时候最好用桥接模式,保证后面虚拟机的集群可以互相访问。公司刚好搭的有OpenStack,我就懒得用虚拟机了。

Single Node 模式

首先解压发布包

tar -xzvf hadoop-2.6.0.tar.gz 

Hadoop2.6 将所有配置都放在了 HADOOP_HOME/etc/hadoop 下面了 网上很多老的资料都是放在conf下的,导致之前做 Research 的时候 浪费了很多时间

CentOS 默认安装了OpenJDK的,但是需要自己配置下环境变量。CentOS的 OpenJDK一般装在/usr/java/jdk-version/

export JAVA_HOME = /usr/java/jdk1.7.0_55/ 

虽然导入了环境变量,但是后面我运行dfs的时候会提示没有设置JAVA_HOME 所以这里顺便把HADOOP脚本也修改了

/HADOOP/etc/hadoop/hadoop-env.sh文件前面,注释掉export JAVA_HOME=${JAVA_HOME},加一行export JAVA_HOME="/usr/java/jdk1.7.0_55", 同样修改yarn-env.sh文件

然后需要修改Hadoop的配置

  • core-site.xml
  • hdfs-site.xml

打开 core-site.xml 加入

<property>  <name>fs.defaultFS</name>  <value>hdfs://Hostname:8020</value> </property> 

这里有两个问题,Hostname可以配置成127.0.0.1,但是后面链接的时候会有各种问题,所以我直接配成了Hostname。 官方的文档里端口号配的是9000,但是其它程序连接Hadoop时一般会默认使用8020端口,为了后面偷懒,这里配成了8020

打开 hdfs-site.xml 加入

<property>  <name>dfs.replication</name>  <value>1</value> </property> 
  • 因为是单节点模式,所以文件副本设置1。这是Hadoop的容错机制,类似于硬盘阵列

然后还需要设置一下免密码登陆

 ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 

最后格式化一下文件系统, 就可以启动了

bin/hdfs namenode -format sbin/start-dfs.sh 

参考文档

Hadoop 2.6 测试环境搭建

标签:

原文地址:http://www.cnblogs.com/errdev/p/4442481.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!