标签：
hadoop版本：2.7.1 jdk：1.7 OS：ubuntu 14.04
1、开启ssh免密码登录
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
这里不多做赘述，没有开启的请 google、baidu（搭建java环境也同样）
2、修改core-site.xml（path：etc/hadoop/）
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
含义：接收Client连接的RPC端口，用于获取文件系统metadata信息。
3、修改hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
含义：备份只有一份
4、设置环境变量并刷新profile
export JAVA_HOME=/usr/lib/java export JRE_HOME=${JAVA_HMOME}/jre export CLASSPATH=.:${JAVA_HMOE}/lib export HADOOP_HOME=/usr/lib/hadoop export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${JAVA_HOME}/bin:${PATH}
5、格式化hdfs
hdfs namenode -format
6、启动集群
start-dfs.sh
7、验证
可以使用jps命令验证是否有进程
可以使用网址访问，端口是50070，例如：10.0.6.206:50070
配置yarn
1、修改 mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
添加配置：
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
2、修改yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
3、启动yarn
start-yarn.xml
4、验证
通过网址验证:
后续我会尝试使用docker搭建伪分布以及集群，未完待续。。。
标签：
原文地址：http://www.cnblogs.com/re-myself/p/4704982.html
