码迷,mamicode.com
首页 > 其他好文 > 详细

MapReduce实验——WordCount

时间:2019-10-31 01:10:23      阅读:105      评论:0      收藏:0      [点我收藏+]

标签:val   replica   影响   span   ati   解决办法   技术   lips   mission   

实验要求及步骤

  参考博客:https://blog.csdn.net/qq_41035588/article/details/90514824,但是创建的项目是Map/Reduce项目。其实创建Java项目也可以做,只是需要导入Map/Reduce项目所需要的jar包。

运行结果截图

技术图片

 出现的问题及解决办法

文件buyer_favorite在eclipse上打开会出现空格乱码的情况,但是不影响本次实验,可以忽略不计。或者也可以将空格改为其它间隔符,如“|”。

eclipse里不能对Hadoop上的文件进行创建操作(创建新文件夹,上传文件和文件夹),只能查看和删除。原因是权限不够,需要关闭Hadoop后修改hdfs-site.xml文件再开启Hadoop。

<configuration>
    <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/hadoop/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/home/hadoop/local/hadoop/tmp/dfs/data</value>
        </property>
        <property>
             <name>dfs.permissions</name>
             <value>false</value>
        </property>
</configuration>

林子雨的Hadoop配置教程里只有前三项,需要再加上高亮区域那一项。

 

MapReduce实验——WordCount

标签:val   replica   影响   span   ati   解决办法   技术   lips   mission   

原文地址:https://www.cnblogs.com/dream0-0/p/11768701.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!