Hadoop排序，从大的范围来说有两种排序，一种是按照key排序，一种是按照value排序。如果按照value排序，只需在map函数中将key和value对调，然后在reduce函数中在对调回去。从小范围来说排序又分成部分排序，全局排序，辅助排序，二次排序等。本文介绍如何在Hadoop中实现全局排序 ...
分类：
编程语言 时间：
2018-09-06 02:34:47
阅读次数：
166
1、MapReduce中数据流动 （1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程： map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程： map - combin(本地 ...
分类：
编程语言 时间：
2018-08-25 17:36:18
阅读次数：
196
大数据技术之辅助排序和二次排序案例（GroupingComparator） 1）需求 有如下订单数据 订单id 商品id 成交金额 0000001 Pdt_01 222.8 0000001 Pdt_05 25.8 0000002 Pdt_03 522.8 0000002 Pdt_04 122.4 0 ...
分类：
编程语言 时间：
2018-07-03 01:00:03
阅读次数：
225
自己学习排序和二次排序的知识整理如下。 1.Hadoop的序列化格式介绍:Writable 2.Hadoop的key排序逻辑 3.全排序 4.如何自定义自己的Writable类型 5.如何实现二次排序 1.Hadoop的序列化格式介绍:Writable 要了解和编写MR实现排序必须要知道的第一个知识 ...
分类：
编程语言 时间：
2018-07-01 17:51:33
阅读次数：
182
emm 其实也没什么 就是写sql查询的时候 要对多个字段排序比如 查询原本的数据是 年份 科目 批次 2014 理科 本二2015 理科 本二 2015 理科 本一2016 理科 本二 2016 理科 本一2014 理科 本一 然后对年份和批次做二次排序查询 Order By Year Desc, ...
分类：
数据库 时间：
2018-06-26 12:25:34
阅读次数：
144
我们有这样一个文件 首先我们的思路是把输入文件数据转化成键值对的形式进行比较不就好了嘛！ 但是你要明白这一点，我们平时所使用的键值对是不具有比较意义的，也就说他们没法拿来直接比较。 我们可以通过sortByKey，sortBy(pair._2)来进行单列的排序，但是没法进行两列的同时排序。 那么我们 ...
分类：
编程语言 时间：
2018-05-15 00:25:44
阅读次数：
240
1.补充算子 transformations Ø mapPartitionWithIndex 类似于mapPartitions,除此之外还会携带分区的索引值。 Ø repartition 增加或减少分区。会产生shuffle。（多个分区分到一个分区不会产生shuffle） 多用于增多分区. 底层调用 ...
分类：
编程语言 时间：
2018-01-05 20:50:15
阅读次数：
355
1、数据样本： 1 52 43 61 32 11 142 454 113 235 126 13 2、排序规则：先按照第一个字符排序，如果第一个相同，再按照第二个字符排序 3、排序后的结果 1 31 51 142 12 42 453 63 234 115 126 13 4、spark二次排序实现 4. ...
分类：
编程语言 时间：
2018-01-03 21:02:04
阅读次数：
209
1、冒泡排序 关于冒泡排序，其实就是相邻两两对比，正序反序，大的（小的）往后挪一个位置，第一遍最大（最小）肯定会在最后了， 然后第二次排序不计最后一个元素进行重排，然后以此类推 2、选择排序 关于选择排序，选择排序是怎样的，就是拿第一个，跟后面23456挨个去对比，如果第二个比第一个大，哎，记住第二 ...
分类：
编程语言 时间：
2017-11-08 14:56:42
阅读次数：
162
