码迷,mamicode.com
首页 > 其他好文 > 详细

理解MapReduce计算构架

时间:2018-05-12 02:41:03      阅读:130      评论:0      收藏:0      [点我收藏+]

标签:ima   jar   命令   默认   14.   顺序   pre   .sh   nbsp   

用Python编写WordCount程序任务

程序

WordCount

输入

一个包含大量单词的文本文件

输出

文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔

  1. 编写map函数,reduce函数

首先先创建文件
技术分享图片

然后编写两个函数

技术分享图片

技术分享图片

 

 

 

 

  1. 将其权限作出相应修改

技术分享图片

 

  1. 本机上测试运行代码

技术分享图片

 

  1. 放到HDFS上运行

技术分享图片

 

  1. 下载并上传文件到hdfs上

技术分享图片

技术分享图片

技术分享图片

 

  1. 用Hadoop Streaming命令提交任务

先找到Streaming的Jar包

技术分享图片

 

配置默认环境变量

技术分享图片

 

 让配置生效并测试

技术分享图片

编写run.sh脚本程序

技术分享图片

技术分享图片

结果

技术分享图片

技术分享图片

技术分享图片

理解MapReduce计算构架

标签:ima   jar   命令   默认   14.   顺序   pre   .sh   nbsp   

原文地址:https://www.cnblogs.com/h228/p/9026618.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!