标签:
原文链接:http://www.errdev.com/post/3/
Hadoop2.6
是目前Hadoop的最新版本,从下面链接获得
同时需要准备至少一台Linux, 这里我用了CentOS 7。虚拟机装CentOS的时候最好用桥接模式,保证后面虚拟机的集群可以互相访问。公司刚好搭的有OpenStack
,我就懒得用虚拟机了。
首先解压发布包
tar -xzvf hadoop-2.6.0.tar.gz
Hadoop2.6
将所有配置都放在了 HADOOP_HOME/etc/hadoop 下面了 网上很多老的资料都是放在conf下的,导致之前做 Research 的时候 浪费了很多时间
CentOS 默认安装了OpenJDK的,但是需要自己配置下环境变量。CentOS的 OpenJDK一般装在/usr/java/jdk-version/
export JAVA_HOME = /usr/java/jdk1.7.0_55/
虽然导入了环境变量,但是后面我运行
dfs
的时候会提示没有设置JAVA_HOME 所以这里顺便把HADOOP脚本也修改了
在/HADOOP/etc/hadoop/hadoop-env.sh
文件前面,注释掉export JAVA_HOME=${JAVA_HOME}
,加一行export JAVA_HOME="/usr/java/jdk1.7.0_55"
, 同样修改yarn-env.sh
文件
然后需要修改Hadoop
的配置
- core-site.xml
- hdfs-site.xml
打开 core-site.xml
加入
<property> <name>fs.defaultFS</name> <value>hdfs://Hostname:8020</value> </property>
这里有两个问题,
Hostname
可以配置成127.0.0.1
,但是后面链接的时候会有各种问题,所以我直接配成了Hostname。 官方的文档里端口号配的是9000
,但是其它程序连接Hadoop时一般会默认使用8020
端口,为了后面偷懒,这里配成了8020
打开 hdfs-site.xml
加入
<property> <name>dfs.replication</name> <value>1</value> </property>
- 因为是单节点模式,所以文件副本设置1。这是Hadoop的容错机制,类似于硬盘阵列
然后还需要设置一下免密码登陆
ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
最后格式化一下文件系统, 就可以启动了
bin/hdfs namenode -format sbin/start-dfs.sh
标签:
原文地址:http://www.cnblogs.com/errdev/p/4442481.html