搭建基于MyEclipse的Hadoop开发环境

标签：

前面我们已经搭建了一个伪分布模式的Hadoop运行环境。

我们绝大多数都习惯在Eclipse或MyEclipse中做Java开发，本次随笔我就教大家如何搭建一个基于MyEclipse IDE的Hadoop开发环境。

闲话少说，走起！

第一步 安装MyEclipse的Hadoop插件

1 打开MyEclipse，查看是否已经安装过

window  ->  preferences 

没有显示Hadoop Map/Reduce，所以说明是MyEclipse是没有安装过Eclipse的插件。

首先，确认你本地的Windows上已经安装JDK和Eclipse或者MyEclipse，并能开发java程序。

2、下载Eclipse的Hadoop插件hadoop-eclipse-plugin-2.2.0 

将下载下来的jar文件放入安装的MyEclipse 10\dropins目录下，然后重启MyEclipse。

重启后，会出现下面的这个界面，点击ok即可，

即，出现了Hadoop Map/Reduce，说明成功。

第二步 设置本地的Hadoop安装运行目录

1、hadoop-2.2.0-x64.rar的下载

首先，明确了本地的JDK是64位版本，所以需要下载对应位的hadoop运行包。其实，也是为了与CentOS6.5里的hadoop运行包和jdk对应一致。

2 、解压下载的文件包，存放在你希望的某个目录下，比如：D:\Software\hadoop-2.2.0

重启MyEclipse，菜单的Windows   ->   Preferences 中

会多出一个 Hadoop Map/Reduce的项。点击这一项，右侧选择你的Hadoop存放目录 （D:\Software\hadoop-2.2.0）

解压前，

解压后，

3、配置环境变量

新建环境变量HADOOP_HOME，变量值为D:\Software\hadoop-2.2.0

修改Path变量，添加：

;D:\Software\hadoop-2.2.0\bin   注意分号

4、添加Map/Reduce Location

将Eclipse/MyEclipse切换到Map/Reduce视图，

底部操作区会出现Map/Reduce Locations项，如下图所示：

在上图所示区域点击鼠标右键或者如上图所示点击它也行，然后New Hadoop location.

在弹出的界面中做如下设置：

50020 -> 50070

50040-> 9000

zhouls -> hadoop

5、sbin/start-all.sh ， 再 jps

6、 点击windows  à   show view  ->  project Exploer ，可以出现以下

这就表明，hadoop与本地的MyEclipse搭建成功。

7 、新建MapReduce项目

下面，新建一个

File  ->  New  ->  Project 

新建包

src   ->    New  Package 

New  ->   Class  

来看下WordCount自带的程序：

改之前，是

改之后，是

然后，window -> show view -> other -> 

运行下程序。

然后，再执行WordCount.java

刷新，查询下结果

这个统计结果跟之前一致。

即表明搭建基于MyEclipse的Hadoop开发环境已经成功！

搭建基于MyEclipse的Hadoop开发环境

标签：

原文地址：http://www.cnblogs.com/zlslch/p/5071672.html