码迷,mamicode.com
首页 > 系统相关 > 详细

hadoop——配置eclipse下的map-reduce运行环境 1

时间:2016-09-02 00:30:30      阅读:211      评论:0      收藏:0      [点我收藏+]

标签:

1.通过修改实例模板程序来实现自己的map-reduce:
为了让示例程序run起来:
1)安装eclipse
2)安装map-reduce的eclipse插件
eclipse的map-reduce插件可以很方便的创建hadoop项目(自动导入所依赖的map-reduce jar包)和打开map-reduce视图(在里面可以像查看本机文件系统一样直观的看到hdfs文件系统的结构)
安装详细步骤:
i)查找eclipse的安装路径:
$:whereis eclipse
1.通过修改实例模板程序来实现自己的map-reduce:
为了让示例程序run起来:
1)安装eclipse
2)安装map-reduce的eclipse插件
eclipse的map-reduce插件可以很方便的创建hadoop项目(自动导入所依赖的map-reduce jar包)和打开map-reduce视图(在里面可以像查看本机文件系统一样直观的看到hdfs文件系统的结构)
安装详细步骤:
i)查找eclipse的安装路径:
$:whereis eclipse
技术分享
显然,我们的eclipse安装在/usr/lib/eclipse下,
将map-reduce的eclipse插件copy到/usr/lib/eclipse/plugins目录下:
sudo cp -rf [插件名称] /usr/lib/eclipse/plugins
ii)重启eclipse
iii)配置eclipse中map-reduce插件的设置:
在eclipse-window-preference中,配置当前hadoop的安装路径(eclispe会自动搜索路径下的jar包)
技术分享
(IV)开启eclipse map-reduce视图:
window View中选择other view,选择map-reduce
技术分享
(V)开启后,在eclispe的下边栏目中可以看到map-reduce的配置:
技术分享
(VI)右键,点击配置hadoop的位置:
技术分享
特别注意:这里的配置要与hadoop的配置文件一样:
Map/Reduce Master的配置在${HADOOP_HOME}/etc/hadoop/map-red.site文件中:
我的配置是:
技术分享
DFS master的配置在
${HADOOP_HOME}/etc/hadoop/core-site.xml
我的配置是:
技术分享
由于我配置的是伪分布式,因此map-red master和hdfs master位置都是localhost,将以上配置填入eclipse后确定,就可以在项目栏中看到:
技术分享

我们可以方便的查看和下载上传本地文件到hdfs中

至此,hadoop map-reduce的eclispe开发环境已经搭建完成。


附件:
1)示例模板程序:

2)map-reduce eclipse插件下载
百度云盘: http://pan.baidu.com/s/1nt5jqyt

 转:http://blog.csdn.net/guoqingpei/article/details/45620123

hadoop——配置eclipse下的map-reduce运行环境 1

标签:

原文地址:http://www.cnblogs.com/andy6/p/5831816.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!