码迷,mamicode.com
首页 > 系统相关 > 详细

Ubuntu安装eclipse,编写mapreduce,免编译hadoop-eclipse插件

时间:2015-04-15 19:29:10      阅读:308      评论:0      收藏:0      [点我收藏+]

标签:

原地址:http://blog.csdn.net/coolcgp/article/details/43448135,做一些更改和补充

第一,Ubuntu软件中心安装eclipse

 

第二,将hadoop-eclipse-plugin-1.2.1.jar复制到eclipse安装目录下的插件目录/usr/lib/eclipse/plugins下(如果不知道eclipse的安装目录,终端输入whereis eclipse查找. )如果默认安装,直接输入下一条命令:

sudo cp hadoop-eclipse-plugin-1.2.1.jar /usr/lib/eclipse/plugins

补充:hadoop-eclipse-plugin-1.2.1.jar使用编译好的,

下载地址:http://download.csdn.net/detail/poisonchry/7412615

 

第三,启动eclipse,打开Map/Reduce视图

1.选择Window-->Preference

2.选择Hadoop Map/Reduce

3.输入hadoop的安装路径

 

 

第四,通过eclipse管理HDFS

1.Window-->Show View -->Other -->MapReduce Tools 中打开Map/Reduce Locations

2.在Map/Reduce视图下,右键新建-->New Hadoop Location

(在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name,如myubuntu,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如: )

技术分享

3.管理HDFS

 

首先打开MapReduce视图

Window -> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。技术分享

配置完后退出。点击DFS Locations-->myubuntu如果能显示文件夹(2)说明配置正确,如果显示"拒绝连接",请检查你的配置(我的配置完成之后只看到了一个文件夹tmp,不知道是什么原因)。 
技术分享 

 

技术分享

第五,新建MapReduce项目

技术分享

第六,输入HDFS上的输入文件夹和输出文件夹(中间有空格)

技术分享

 

注意输入输出地址,是服务器格式化hdfs文件系统中的input和output文件夹,

我的输入和输出地址为hdfs://192.168.83.51:9000/user/hadoop/input hdfs://192.168.83.51:9000/user/hadoop/output2

注意实现要通过 hadoop fs -mkdir input,hadoop fs -mkdir output2定义该文件夹

 

 

第七,点击右下角“run”

注:同一个MapReduce程序,要测试几遍,要删除“目标文件夹”,不然运行程序时,会重新建立目标文件夹,产生结果文件夹已生成的错误。删除output之后(以上文的例子为例),再运行即可。

Ubuntu安装eclipse,编写mapreduce,免编译hadoop-eclipse插件

标签:

原文地址:http://www.cnblogs.com/yansjhere/p/4429372.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!