package cn.sjq.mr.sort;import java.io.IOException;import java.util.Comparator;import java.util.TreeSet;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.ha
分类：
其他好文 时间：
2018-08-07 11:02:15
阅读次数：
191
一、MRUnit测试jar包mrunit-1.1.0-hadoop2.jar第三方依赖MRUnit\apache-mrunit-1.1.0-hadoop1-bin\lib二、在现有工程里面配置MRUnit单元测试1、新建一个userlib2、将MRUnitLib添加到mr工程，如下图：3、解决jar包冲突由于在MRUnitLib包中存在mockito-core-1.9.5.jar包，该包和E:\d
分类：
其他好文 时间：
2018-08-06 10:25:13
阅读次数：
153
1、员工对象EmployeeBeanpackage cn.sjq.bigdata.mr.self.join;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;/** * 员工对象EmployeeBean * 由于该对象需
分类：
其他好文 时间：
2018-08-02 10:21:40
阅读次数：
176
1、EmployeeDeptBeanpackage cn.sjq.bigdata.mr.equal.join;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;/** * Emp表和Dept表合并后的
分类：
其他好文 时间：
2018-08-01 12:05:52
阅读次数：
137
1、EmpSalaryBean 对象package cn.sjq.mr.part;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;/** * 定义一个员工薪水的JavaBean，并实现MapReduce的Writabl
分类：
其他好文 时间：
2018-07-31 10:56:13
阅读次数：
146
【题目描述】 Mr.L正在完成自己的增肥计划。 为了增肥，Mr.L希望吃到更多的脂肪。然而也不能只吃高脂肪食品，那样的话就会导致缺少其他营养。Mr.L通过研究发现：真正的营养膳食规定某类食品不宜一次性吃超过若干份。比如就一顿饭来说，肉类不宜吃超过1份，鱼类不宜吃超过1份，蛋类不宜吃超过1份，蔬菜类不 ...
分类：
其他好文 时间：
2018-07-30 22:38:28
阅读次数：
182
package cn.sjq.mr.sort.number;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.map
分类：
编程语言 时间：
2018-07-30 11:37:07
阅读次数：
164
1、EmpSalaryBean1 对象类package cn.sjq.mr.sort;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;/** * 定义一个员工薪水的JavaBean，并实现MapRe
分类：
编程语言 时间：
2018-07-30 11:33:51
阅读次数：
187
package cn.sjq.mr.sort.number;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoo
分类：
编程语言 时间：
2018-07-30 11:20:38
阅读次数：
166
多表连接：将连接键(id)作为k2，v2采用自定义的Writable，writable中包含以下字段：标志位字段+业务字段(可能多个)；reduce端做笛卡尔积。 自连接（单表关联）：对于给定的数据的key value 调换，并作些标记予以区别。 map端连接： 1.前提条件：小表尽可能小，一般情况 ...
分类：
其他好文 时间：
2018-07-28 15:24:54
阅读次数：
196
