一、需求分析 1、需求 手机号136、137、138、139开头都分别放到一个独立的4个文件中，其它开头的放到一个文件中 2、分析 a、分区 继承 Partitioner b、排序 实现 WritableComparable 二、具体代码（结合上篇博客） 1、自定义Haoop序列化类、排序 pack ...
分类：
编程语言 时间：
2020-09-17 16:58:35
阅读次数：
26
4 WritableComparable排序 1．排序的分类 2．自定义排序WritableComparable （1）原理分析 bean对象做为key传输，需要实现WritableComparable接口重写compareTo方法，就可以实现排序。 @Override public int com ...
分类：
其他好文 时间：
2020-07-19 23:23:07
阅读次数：
67
1 package com.liuhuan; 2 3 import org.apache.hadoop.io.WritableComparable; 4 5 import java.io.DataInput; 6 import java.io.DataOutput; 7 import java.io ...
分类：
其他好文 时间：
2020-04-07 18:45:58
阅读次数：
102
一：排序概述 排序时是MapReduce框架最重要的操作之一 MapTask和ReduceTask均会对数据按照key进行排序，该操作是属于Hadoop的默认行为。任何应用程序中的数据均会被排序，不管你是否需要。 默认排序是按照字典顺序排序，实现该排序的方法是快速排序 二：排序分类 （1）全排序 只 ...
分类：
编程语言 时间：
2020-03-22 19:36:50
阅读次数：
86
1.hadoop TextPair组合键定义 package Temperature; import org.apache.hadoop.io.Text; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput ...
分类：
其他好文 时间：
2020-02-22 09:13:31
阅读次数：
125
有问题的代码： 需要将compare两个参数的类型由object修改为WritableComparable才行。 在源码中暂时没找到调用逻辑┓( ´?` )┏ ...
分类：
编程语言 时间：
2019-05-18 00:31:20
阅读次数：
165
一、 Mapper Mapper接口负责数据处理阶段，它采用的形式为Mapper<K1,V1,K2,V2>Java泛型，这里键类和值类分别实现WritableComparable和Writable接口。 Mapper只有一个方法—map，用于处理一个单独的键、值对。 Void map(K1key,V ...
分类：
移动开发 时间：
2018-11-11 16:03:42
阅读次数：
228
本章主要介绍了 MapReduce 的开发原理及应用场景，讲解如何利用 Combine、Partitioner、WritableComparable、WritableComparator 等组件对数据进行排序筛选聚合分组的功能。利用例子模仿 SQL 关系数据库进行SELECT、WHERE、GROUP... ...
分类：
其他好文 时间：
2018-08-16 13:51:41
阅读次数：
201
1、EmployeeDeptBeanpackage cn.sjq.bigdata.mr.equal.join;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;/** * Emp表和Dept表合并后的
分类：
其他好文 时间：
2018-08-01 12:05:52
阅读次数：
137
1、EmpSalaryBean1 对象类package cn.sjq.mr.sort;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;/** * 定义一个员工薪水的JavaBean，并实现MapRe
分类：
编程语言 时间：
2018-07-30 11:33:51
阅读次数：
187
