一、MRUnit测试jar包mrunit-1.1.0-hadoop2.jar第三方依赖MRUnit\apache-mrunit-1.1.0-hadoop1-bin\lib二、在现有工程里面配置MRUnit单元测试1、新建一个userlib2、将MRUnitLib添加到mr工程，如下图：3、解决jar包冲突由于在MRUnitLib包中存在mockito-core-1.9.5.jar包，该包和E:\d
分类：
其他好文 时间：
2018-08-06 10:25:13
阅读次数：
153
MapReduce进行单元测试的步骤： 1. 在POM中添加MRUnit 2. Mapper测试用例 3. Reducer测试用例 ...
分类：
其他好文 时间：
2017-07-25 19:53:25
阅读次数：
127
下面，是版本1。 Hadoop MapReduce编程 API入门系列之挖掘气象数据版本1（一） 这篇博文，包括了，实际生产开发非常重要的，单元测试和调试代码。这里不多赘述，直接送上代码。 MRUnit 框架 MRUnit是Cloudera公司专为Hadoop MapReduce写的单元测试框架，A ...
MRUnit可以花费时间少，并且可以分别测试mapper和reducer 步骤： 1、 运用MRUnit测试mapper和reducer 2、 执行mapreduce代码的本地化测试 3、 使用hadoop日志 4、 通过计数器跟踪执行指标 Testing Mapper的过程 1、 实例化mapdi ...
分类：
移动开发 时间：
2016-05-29 16:39:26
阅读次数：
522
import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Lo...
分类：
其他好文 时间：
2015-04-29 08:36:55
阅读次数：
140
Apache 版:官网:http://mrunit.apache.org教程:https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial注意:"org.apache.hadoop.mrunit.mapreduce.MapDri...
分类：
其他好文 时间：
2015-03-08 18:34:20
阅读次数：
168
MRUnit是对MapReduce程序进行单元测试的工具，可以对Mapper和Reducer程序分别进行测试。但是它没有集成在Hadoop安装环境中，如果想在开发MapReduce程序时使用这个工具，就需要自己安装。
MRUnit的安装
安装环境：
Eclipse版本为3.6.0
Hadoop版本为1.0.4
安装步骤：
（1）下载MRUnit，网址为http://...
分类：
其他好文 时间：
2015-01-19 12:54:56
阅读次数：
729
所需环境：Hadoop相关jar包（下载官网发行版即可）；下载junit包（最新为好）；下载mockito包；下载mrunit包；下载powermock-mockito包；相关包截图如下：应用场景：在进行Hadoop的一般MR编程时，需要验证我们的业务逻辑，或者说是验证数据流的时候可以使用此环境，这个环境不要求真实的云平台，只是针对算法或者代码逻辑进行验证，方便调试代码。实例：Mapper：pac...
分类：
其他好文 时间：
2014-07-29 15:15:00
阅读次数：
373
之前在写MR
job的时候，由于要在云梯，或者一淘的开发集群上运行；所以处理方法是，在本地打成jar包，然后scp到客户端网关机上，然后在提交job运行。这样的问题时，有时候如果遇到一些逻辑上的问题，job跑挂了。必须在本地修改程序，然后重新打包，scp，再运行，这样比较麻烦；询问了一圈，觉得采用M...
分类：
其他好文 时间：
2014-05-04 10:54:29
阅读次数：
427
