标签：style ar io color os 使用 sp for java
本例使用的环境：Windows+VirtualBox. VirtualBox下安装三个ubuntu系统（可以安装一台后，使用VirtualBox自带的工具VBoxManage.exe来进行复制），三台机器分别命名为h1.h2,h3。其中，h1作为master，运行namenode和jobtracker，h2和h3作为slaves，运行datanode和tasktracker。
1.在每个节点上安装jdk和ssh
a) sudo apt-get install openjdk-7-jdk
b) sudo apt-get install ssh
1.配置每个节点的hosts文件。（如果是超大集群，每台配置很麻烦，可以使用DNS服务器）.
2.建立hadoop运行账号，成功后切换到该账号下继续操作(为了后续配置方便，最好每个节点上的用户名都一致！)。
a) sudo groupadd hadoop
b) sudo useradd -s /bin/bash -d /home/hadoop -m hadoop -g hadoop -G admin
c) sudo passwd hadoop
d) su hadoop
4.配置ssh免密码连接
a) 生成一对公钥和私钥：ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
b) cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
c) 测试连接：ssh localhost（第一次需要用户yes确认，exit再次登录发现免密码登录）
d) 将主节点(master)中的公钥文件(id_dsa.pub)的内容分别追加到各个slave节点的~/.ssh/authorized_keys文件中，这样主节点可以免密码连接各个slave。
在每个slave节点中执行下面语句(将主节点的公钥添加到每个slave的连接认证文件，使主节点能免密码连接到slave节点)：
scp hadoop@h1:~/.ssh/id_rsa.pub ~/.ssh/h1_rsa.pub
cat ~/.ssh/h1_rsa.pub >> ~/.ssh/authorized_keys
（注意：如果namenode和jobtracker在不同的机器上，则namenode所在节点也需要做相应配置保证能够无密码连入jobtracker）
5.下载解压hadoop安装包（这里使用的是hadoop-0.20.2版本）
6.配置namenode,修改site文件(假设namenode和jobtracker所在机器名为h1,其他分别为h2,h3)
a) core-site.xml: 添加
<property>
<name>fs.default.name</name>
<value>hdfs://h1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop解压目录/tmp</value>
</property>
b) hdfs-site.xml: 添加
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop解压目录/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop解压目录/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<final>true</final>
</property>
c) 设置jobtracker(mapred-site.cml)
<property>
<name>mapred.job.tracker</name>
<value>h1:9001</value>
<final>true</final>
</property>
7.将主节点上配置好的hadoop整个文件夹复制到其他slave节点。
在主节点上执行下列命令：
scp -r /home/hadoop/hadoop-0.20.2 h2:~
8.配置hadoop-env.sh文件，导出JAVA_HOME环境变量(去掉相应注释并修改为本机的JAVA安装路径即可)。
9.配置master和slaves
10.将主节点上的整个hadoop安装目录全部复制到各个slave节点上去
11.为了后续使用方便。在每个节点添加系统环境变量
编辑/etc/profile文件，在末尾添加:
export JAVA_HOME=java安装目录
export HADOOP_INSTALL=hadoop安装目录
export PATH=$PATH:$HADOOP_INSTALL/bin
添加完毕后使用 source /etc/profile 命令重新读取系统环境变量。
12.格式化namenode： hadoop namenode -format
13启动hadoop集群（只需在master节点启动即可）: start-all.sh(因为hadoop/bin已经被添加到系统环境变量，故可以在任意目录运行start-all.sh命令)
14.使用jps命令查看是否启动正常
15.使用自带的wordcount进行测试。
1.hadoop dfs -put test.txt input
2.hadoop jar $HADOOP_INSTALL/hadoop-*-examples.jar wordcount input output
3.hadoop dfs -cat output/part-r-00000
标签：style ar io color os 使用 sp for java
原文地址：http://blog.csdn.net/yijianbo_/article/details/41957157
