码迷,mamicode.com
首页 > 系统相关 > 详细

在Eclipse下搭建Hadoop开发环境

时间:2020-05-24 09:56:20      阅读:70      评论:0      收藏:0      [点我收藏+]

标签:img   电脑图标   ado   文件   可视化   端口号   输入   下载安装   inf   

为了方便远程提交代码运行,我们Eclipse下搭建Hadoop开发环境

1.JDK安装配置

首先得先安装并配置好JDK,然后下载安装Eclipse。这一部分不做过多介绍,使用java这一步应该都已经达成,接下来开始对Hadoop开发环境进行搭建。

2.Hadoop插件安装和配置

Eclipse —> Windows —> Preferences

技术图片

 

 

 

要安装Hadoop插件的话得先知道所安装的Hadoop版本,在虚拟机中进行查看。

输入如下命令可查看:

CD $HADOOP_HOME

hadoop version

我的插件版本是:hadoop-eclipse-plugin-2.7.4

下载完成之后,将其放到你所安装的Eclipse目录下的dropins文件下。(注:因为版本不同,如果无效,可以放到plugins下再试试)

 

技术图片

 

 

 

技术图片

 

 

 

重启,再次进入Windows —> Preferences,可看到已经成功安装好了Hadoop插件,接下来对其进行配置。

技术图片

 

 

 

 点击Hadoop Map/Reduce选项,进入配置页面,点击Browse,选择Hadoop安装路径(能够看到bin文件夹的路径)填入其中。(注:你需要把虚拟机中安装的Hadoop版本,在这个提交代码的机器上解压存放好,配置插件的时候需要调用,此处输入相关路径,实质上只有bin目录内容有用)

技术图片

 

 

 

 

3. 配置环境变量

从桌面电脑图标右键进入“属性”界面,选择“高级系统配置”,选择“环境变量”,然后选择“系统变量”下的新建,添加一个HADOOP_HOME的变量,变量值为HADOOP安装路径(能够看到bin文件夹的路径)

技术图片

 

 接下来,往系统变量Path里追加“;HADOOP_HOME\bin”(注意,WIN7需要自己输入分号):

 

技术图片

 

 

4. 配置Map/Reduce Locations 

Windows—> show view —> Other,选择MapReduce Tools下的Map/Reduce Locations。

技术图片

 

 

技术图片

 

 

点击下图右上角位置的小象,进入配置页面。

技术图片

 

 

技术图片

 

 

 其中,Location name自定义一个名字就行,配置Map/Reduce Master和DFS Mastrer,Host和Port配置成与core-site.xml的设置一致即可(Host为hadoop节点的IP地址DFS Mastrer下的port为HDFS端口号,User name为安装Hadoop节点用户名称)。

5. 测试

 在虚拟机中启动集群

 点击Eclipse右上角的小象图标,然后就可以看到Hadoop节点的信息了。

 此时,在虚拟机中用Shell命令的形式可以对Hadoop进行管理,比如新建目录、文件、上传和下载等操作和在Eclipse下的可视化操作都是同步的了(如果没有同步请先右键点击refresh刷新一下),也就是说可以同步对Hadoop进行管理和开发。

技术图片

 

在Eclipse下搭建Hadoop开发环境

标签:img   电脑图标   ado   文件   可视化   端口号   输入   下载安装   inf   

原文地址:https://www.cnblogs.com/xubuji/p/12945371.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!