理解MapReduce计算构架

标签：图片   http   hadoop   count   提交   ado   文本文件   创建   输入   

用Python编写WordCount程序任务

1.编写map函数，reduce函数

　　首先先创建文件

　　然后编写两个函数

2.将其权限作出相应修改

3.本机上测试运行代码

4.放到HDFS上运行

5.下载并上传文件到hdfs上

　　先用WINSCP把两个txt文件传到虚拟机

　　然后上传文件到hdfs

6.用Hadoop Streaming命令提交任务

　　先找到Streaming的Jar包

　　配置默认环境变量

　　让配置生效并测试

　　编写run.sh脚本程序

　　运行run.sh

　　查看运行结果

理解MapReduce计算构架

标签：图片   http   hadoop   count   提交   ado   文本文件   创建   输入   

原文地址：https://www.cnblogs.com/zzrf/p/9019063.html