myeclipse配置hadoop开发环境

标签：

本文所用软件版本：myeclipe2014    hadoop1.2.1

1、安装Hadoop开发插件

    下载hadoop-eclipse-plugin-1.2.1.jar，拷贝到myeclipse根目录下/dropins目录下。

2、 启动myeclipse，打开Perspective：

【Window】->【Open Perspective】->【Other...】->【Map/Reduce】->【OK】

3、 打开一个View：

【Window】->【Show View】->【Other...】->【MapReduce Tools】->【Map/Reduce Locations】->【OK】

4、 添加Hadoop location：

此处添加自己的hadoop安装路径。

5、new Hadoop location

、

修改其中内容：

Map/Reduce Master 这个框里：这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port  

DFS Master 这个框里：这两个参数就是core-site.xml里面fs.default.name里面的ip和port

 user name：这个是连接hadoop的用户名

因为我是用root户安装的hadoop，而且没建立其他的用户，所以用root。下面的不用填写。
然后点击finish按钮，此时，这个视图中就有多了一条记录。

修改后：

重启myeclipse并重新编辑刚才建立的那个连接记录，现在我们编辑advance parameters tab页

此页只需修改，其中箭头所示处，后面填core-site.xml里所对应的路径即可。

然后点击finish，然后就连接上了（先要启动sshd服务，启动hadoop进程），连接上的标志如图：

6、再跑wordcount例子

新建Map/Reduce Project：

【File】->【New】->【Project...】->【Map/Reduce】->【Map/Reduce Project】->【Project name: WordCount】->【Configure Hadoop install directory...】->【Hadoop installation directory: usr/local/hadoop/hadoop-1.2.1】->【Apply】->【OK】->【Next】->【Allow output folders for source folders】->【Finish】

新建WordCount类

添加/编写源代码：此代码是hadoop自带的，所以在hadoop安装目录下，如下图：（代码复制过来即可用)

上传模拟数据文件夹：此过程请参考本博客 http://www.cnblogs.com/yangxiao99/p/4574889.html

然后配置运行参数：

在新建的项目WordCount，点击WordCount.java，右键-->Run As-->Run Configurations 

点击Run，运行程序

在此刻看到运行结果，如下图：

完毕！！！

以上是亲手所写，欢迎各位来探讨交流：QQ：747861092

QQ群：163354117    （群名称：CodeForFuture） 

myeclipse配置hadoop开发环境

标签：

原文地址：http://www.cnblogs.com/yangxiao99/p/4580418.html