标签：
历程是艰辛，无脑的苦力活~
首先我的平台是搭建在cenos7虚拟机上的，使用hadoop2.6，部署计划：
| 主机 | 角色 |
| namenode1:192.168.80.101 | namenode,resourcemanager |
| datanode1:192.168.80.102 | datanode,nodemanager |
| datanode2:192.168.80.103 | datanode,nodemanager |
0.需要 hadoop2.6 ，jdk1.7，hadoop-eclipse-plugin-2.6.0.jar，出错时候用的一些文件
1.关于虚拟机的网络设置，使用nat模式：文件/etc/sysconfig/network-scripts/ifcfg-eno*
lo网卡设置关掉，把 ONBOOT=yes 改成 no即可
TYPE=Ethernet
HWADDR=00:0C:29:9E:66:9c
#BOOTPROTO=dhcp
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eno16777736
UUID=98f69bcb-c555-40a4-ac50-d6cf6a2fab73
DEVICE=eno16777736
#ONBOOT=no
ONBOOT=yes
IPADDR0=192.168.80.101
PREFIX0=24
GATEWAY0=192.168.80.1
sudo service network restart
2.关于SSH免密登录，可参考其他资料，或上一个随笔。其实免密登录不是搭建hadoop平台必须的，只是可以方便开启结点
3.jdk的配置也很简单，解压后，写入配置文件路径 sudo vi /etc/profile
(export JAVA_HOME=
export PATH=$PATH:$JAVA_HOME)
更新 source vi /etc/profile
成功后，在命令台输入 java运行成功即可。
4. 配置hadoop
4.1把hadoop路径写入系统文件
4.2改配置文件 hadoop_home\etc\hadoop\core-site.xml
关于缓存文件的dir需要事先创建出来，
要记好 这里的hdfs端口号，
<property> <name>fs.defaultFS</name> <value>hdfs://namenode1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/boy/hadoop/hadoop-2.6.0/tem</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>namenode1</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property>
前提：在所有机器上主机和网址的映射都有，文件 /etc/hosts
127.0.0.1 localhost www # localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.80.101 namenode1
192.168.80.102 datanode1
192.168.80.103 datanode2
配置文件 应该根据自己的平台做相应变化，关于解释，请查阅其他的。网上有很多资料
4.3配置文件 hdfs-site.xml
<property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.name.dir</name> <value>/home/boy/hadoop/hadoop-2.6.0/tem/name1</value> #hadoop的name目录路径 <description> </description> </property> <property> <name>dfs.data.dir</name> <value>/home/boy/hadoop/hadoop-2.6.0/tem/data1</value> <description> </description> </property>
dfs.replication：数据副本个数，在该集群中是有两个数据节点，默认是3个，个数不能多于数据节点个数
dfs.permissions：是否验证访问者权限
后面两个是数据文件存放的位置，可以不用事先创建
4.4yarn-site.xml
这里的 resourcemanager端口号 8032也很重要，后面eclipse会用到
端口8088是hadoop marreduce的web访问端口
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>namenode1:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>namenode1:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>namenode1:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>namenode1:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>namenode1:8088</value> </property>
4.5mapred-sit.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobtracker.http.address</name> <value>namenode1:50030</value> </property> <property><name>mapreduce.jobhistory.address</name><value>namenode1:10020</value> </property> <property><name>mapreduce.jobhistory.webapp.address</name><value>namenode1:19888</value> </property> <property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/mr-history/tmp</value> </property> <property><name>mapreduce.jobhistory.done-dir</name><value>/mr-history/done</value> </property>
4.6 修改hadoop-env.sh文件 中的java_home，为机器的java_home
4.7到这里配置完成，把所有配置文件发送或拷贝到其他主机，一定要一样，不一样的话 mast节点会报错，或者数据节点会启动不起来，但是如果是数据节点报错，报错信息可以通过控制台看到日志文件的位置，可以查看异常。
hadoop2.6虚拟机搭建和应用到win平台下eclipse开发
标签：
原文地址：http://www.cnblogs.com/dasheng-maritime/p/5401858.html
