1.通过修改实例模板程序来实现自己的map-reduce:
为了让示例程序run起来:
1)安装eclipse
2)安装map-reduce的eclipse插件
eclipse的map-reduce插件可以很方便的创建hadoop项目(自动导入所依赖的map-reduce jar包)和打开map-reduce视图(在里面可以像查看本机文件系统一样直观的看到hdfs文件系统的结构)
安装详细步骤:
i)查找eclipse的安装路径:
$:whereis eclipse
1.通过修改实例模板程序来实现自己的map-reduce:
为了让示例程序run起来:
1)安装eclipse
2)安装map-reduce的eclipse插件
eclipse的map-reduce插件可以很方便的创建hadoop项目(自动导入所依赖的map-reduce jar包)和打开map-reduce视图(在里面可以像查看本机文件系统一样直观的看到hdfs文件系统的结构)
安装详细步骤:
i)查找eclipse的安装路径:
$:whereis eclipse
显然,我们的eclipse安装在/usr/lib/eclipse下,
将map-reduce的eclipse插件copy到/usr/lib/eclipse/plugins目录下:
sudo cp -rf [插件名称] /usr/lib/eclipse/plugins
ii)重启eclipse
iii)配置eclipse中map-reduce插件的设置:
在eclipse-window-preference中,配置当前hadoop的安装路径(eclispe会自动搜索路径下的jar包)
(IV)开启eclipse map-reduce视图:
window View中选择other view,选择map-reduce
(V)开启后,在eclispe的下边栏目中可以看到map-reduce的配置:
(VI)右键,点击配置hadoop的位置:
特别注意:这里的配置要与hadoop的配置文件一样:
Map/Reduce Master的配置在${HADOOP_HOME}/etc/hadoop/map-red.site文件中:
我的配置是:
DFS master的配置在
${HADOOP_HOME}/etc/hadoop/core-site.xml
我的配置是:
由于我配置的是伪分布式,因此map-red master和hdfs master位置都是localhost,将以上配置填入eclipse后确定,就可以在项目栏中看到:
我们可以方便的查看和下载上传本地文件到hdfs中
至此,hadoop map-reduce的eclispe开发环境已经搭建完成。
附件:
1)示例模板程序:
2)map-reduce eclipse插件下载
百度云盘: http://pan.baidu.com/s/1nt5jqyt