win系统下的eclipse连接和使用linux上的hadoop集群

标签：集群   hadoop集群   hadoop   eclipse   windows   

准备工作

先在win系统的hosts文件里添加以下内容

10.61.6.164master     //hadoop集群的master节点

一、首先在eclipse上安装hadoop插件

下载hadoop-eclipse-plugin-1.1.2.jar，将其拷贝到eclipse 安装目录下的plugins，再启动eclispe，这时在eclipse的File/New/other下会看到一下的内容，证明插件安装成功

二、在Window/show view/other里打开Map/Reduce Locations

打开后会有下图所示的窗口，点击右侧的紫色小象

会弹出下图所示的窗口

然后配置你的连接信息：

Location name：自己可以定义为任何名字

Host：是你的hadoop集群的master节点的ip地址

Port：必需按上图配置，当然如果你配置hadoop集群时将默认端口换了，此处则为你自己修改的端口号

配置完以后会在左侧目录栏里看到

三、配置程序运行参数(你的项目必需是mapreduce项目，并且已经添加hadoop里的所有jar包）

先在你的项目下建立一个in目录，并将data数据文件拷贝到其中，再将你的项目导出问jar文件，然后在你的项目的main函数里添加以下代码

conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改

右击你的项目，选择Run as/Run Configurations  

点击Arguments

在里面添加上图中的内容

Lee 文件在HDFS上的存储路径<dfs_path>

in/data 输入文件（本地路径）<input>

3 项集的大小k

1 支持度阈值<spt_dg>

out 输出文件<本地路径><output>

点击ok你的项目即可连接和使用你的hadoop集群了

win系统下的eclipse连接和使用linux上的hadoop集群

标签：集群   hadoop集群   hadoop   eclipse   windows   

原文地址：http://blog.csdn.net/dhtx_wzgl/article/details/46906519