码迷,mamicode.com
首页 > 其他好文 > 详细

理解MapReduce计算构架

时间:2018-05-11 23:17:10      阅读:149      评论:0      收藏:0      [点我收藏+]

标签:red   技术   文件   命令   创建文件   jpg   .com   map函数   修改   

用Python编写WordCount程序任务

1.编写map函数,reduce函数

创建文件

技术分享图片

编写函数

技术分享图片

技术分享图片

2.将其权限作出相应修改

技术分享图片

3.本机上测试运行代码

技术分享图片

技术分享图片

4.放到HDFS上运行,下载并上传文件到hdfs上

技术分享图片

技术分享图片

技术分享图片

5.用Hadoop Streaming命令提交任务

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

理解MapReduce计算构架

标签:red   技术   文件   命令   创建文件   jpg   .com   map函数   修改   

原文地址:https://www.cnblogs.com/hkvbm/p/9026509.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!