码迷,mamicode.com
首页 > Windows程序 > 详细

Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群

时间:2018-04-10 20:31:16      阅读:255      评论:0      收藏:0      [点我收藏+]

标签:Hadoop   大数据   云计算   

Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
(也可访问该网页查看:http://tn.51cto.com/article/562
所需软件:
(1)下载Hadoop2.5.1到Win7系统下,并解压缩
Hadoop2.5.1下载地址:Indexof/dist/hadoop/core/hadoop-2.5.1
http://archive.apache.org/dist/hadoop/core/hadoop-2.5.1/

技术分享图片
说明:Win7中下载的是Hadoop2.5.1,Mac中的Hadoop版本是Hadoop2.5;版本不一致,但测试的时候,结果没有错误,但有的人测试时说版本最好一样,此处可以留意下。
(2)Hadoop运行在Linux系统下的,在windows下eclipse中运行hadoop程序,要首先安装Windows下运行的支持插件hadoop2.2-common-bin.zip,下载地址如下:https://github.com/srccodes/hadoop-common-2.2.0-bin
说明:这里使用的是hadoop2.2-common-bin.zip,和Hadoop版本不一致,但结果没有错误且没有报异常。不配置该插件运行Hadoop会报异常:
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

(3)配置hadoop环境变量(与Java的环境配置有些相似)
windows环境变量配置:右键“我的电脑” –>属性 ->高级环境变量配置 –>高级选项卡 ->环境变量 -> 单击新建HADOOP_HOME->配置下载的Hadoop路径。
技术分享图片
技术分享图片

(4)下载hadoop-eclipse-plugin-2.2.0.jar,MyEclipse/Eclipse中开发Hadoop所需插件。下载并拷贝它到MyEclipse安装路径的如下位置;
技术分享图片
(5)重启MyEclipse或Eclipse会出现右侧“蓝色大象”所示图标,表示插件hadoop插件安装成功。
技术分享图片
(6)eclipse环境配置:点击“菜单Window”-->Preference-->Hadoop Map/Reduce进行配置,如下图所示:
技术分享图片
(7)出现下图所示view,表示配置成功。
技术分享图片
(8) 切换到配置文件并修改
① cd hadoop/hadoop2.5/etc/hadoop
② cat core-site.xml
配置hadoop伪分布时一般使用localhost做为namenode的标识,如图所示。
技术分享图片
这里需要修改成Linux的主机名或IP地址,否则windows下的Hadoop程序不能连接到Linux或者Mac中的Hadoop上进行运行,且报错。
技术分享图片
如图所示,表示连接失败:
技术分享图片
说明:如果使用主机名进行连接,需要配置主机名到IP的映射。
如图所示:
技术分享图片
(9)启动Mac或者Linux中的hadoop,使用jps命令观察是否运行成功。
技术分享图片
技术分享图片
(10)配置hdfs,新建New Hadooop location或者Edit Hadoop location
技术分享图片
具体配置说明:
技术分享图片
(11)测试:在Mac或者Linux中查看是否能够访问到Hdfs.如下图所示:
技术分享图片
上图,显示了hdfs中有一个文件。

Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群

标签:Hadoop   大数据   云计算   

原文地址:http://blog.51cto.com/59465168/2096659

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!