说明:Win7中下载的是Hadoop2.5.1,Mac中的Hadoop版本是Hadoop2.5;版本不一致,但测试的时候,结果没有错误,但有的人测试时说版本最好一样,此处可以留意下。
(2)Hadoop运行在Linux系统下的,在windows下eclipse中运行hadoop程序,要首先安装Windows下运行的支持插件hadoop2.2-common-bin.zip,下载地址如下:https://github.com/srccodes/hadoop-common-2.2.0-bin
说明:这里使用的是hadoop2.2-common-bin.zip,和Hadoop版本不一致,但结果没有错误且没有报异常。不配置该插件运行Hadoop会报异常:
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
(3)配置hadoop环境变量(与Java的环境配置有些相似)
windows环境变量配置:右键“我的电脑” –>属性 ->高级环境变量配置 –>高级选项卡 ->环境变量 -> 单击新建HADOOP_HOME->配置下载的Hadoop路径。
(4)下载hadoop-eclipse-plugin-2.2.0.jar,MyEclipse/Eclipse中开发Hadoop所需插件。下载并拷贝它到MyEclipse安装路径的如下位置;
(5)重启MyEclipse或Eclipse会出现右侧“蓝色大象”所示图标,表示插件hadoop插件安装成功。
(6)eclipse环境配置:点击“菜单Window”-->Preference-->Hadoop Map/Reduce进行配置,如下图所示:
(7)出现下图所示view,表示配置成功。
(8) 切换到配置文件并修改
① cd hadoop/hadoop2.5/etc/hadoop
② cat core-site.xml
配置hadoop伪分布时一般使用localhost做为namenode的标识,如图所示。
这里需要修改成Linux的主机名或IP地址,否则windows下的Hadoop程序不能连接到Linux或者Mac中的Hadoop上进行运行,且报错。
如图所示,表示连接失败:
说明:如果使用主机名进行连接,需要配置主机名到IP的映射。
如图所示:
(9)启动Mac或者Linux中的hadoop,使用jps命令观察是否运行成功。
(10)配置hdfs,新建New Hadooop location或者Edit Hadoop location
具体配置说明:
(11)测试:在Mac或者Linux中查看是否能够访问到Hdfs.如下图所示:
上图,显示了hdfs中有一个文件。
Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
原文地址:http://blog.51cto.com/59465168/2096659