码迷,mamicode.com
首页 > Windows程序 > 详细

window本地运行mapreduce程序

时间:2018-11-25 17:51:19      阅读:245      评论:0      收藏:0      [点我收藏+]

标签:系统   master   出现   权限   window   on()   网上   基本   链接   

 

mapreduce的运行方式一般有两种,一是从本地导出一个jar包,在传到虚拟机上运行,这样调试起来非常的不方便,如果出现错误就需要重新导出jar包。

 

第二种方式是在本地直接运行,但是在运行前需要进行一些准备。我原来一直用的是方式一,由于需要,必须改成方式二,今天进行了相关的操作。

 

首先,需要准备windwos编译下的hadoop包,实际上只需要将linux中的hadoop中的lib目录替换,(还有的说法,如果还是不行的话,还需要将lib包中也替换)

 

由于我的Hadoop版本比较老,是2.4.1,bin目录不是很好找,下边是我早github中找到的链接

https://github.com/srccodes/hadoop-common-2.2.0-bin

直接粘到hadoop中的bin目录替换,然后就是书写mapreduce程序,里边的代码和虚拟机中的代码基本一致,但是,需要在主程序中加入一行代码

         Configuration conf = new Configuration();

 conf.set("fs.defaultFS","hdfs://192.168.252.200:9000");

这两句最好紧挨着,否则会报错。这里边的设置的自己虚拟机上的master节点的ip地址。然后直接运行程序,就可以成功了

 

网上有人说要配置HADOOP_HOME的系统变量,但是本人在运行程序时尝试修改,但是没有成功,可是但运行mapreduce时不会报错,所以这个步骤因该没有用

 

在运行时可能会出  pression denied错误,这是因为你的hdfs中的文件的权限太高,你可以直接将其设置成777,使任何用户都具有访问该文件的权限。

 

亲自尝试,可以成功

window本地运行mapreduce程序

标签:系统   master   出现   权限   window   on()   网上   基本   链接   

原文地址:https://www.cnblogs.com/ljysy/p/10016031.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!