修改 /home/ELK-filebeat/docker-elk/kibana/config/kibana.yml ...
分类：
编程语言 时间：
2019-09-23 18:09:54
阅读次数：
100
1实现接口->WritableCompareable 排序操作在hadoop中属于默认的行为。默认按照字典殊勋排序。 2 排序的分类： 1）部分排序 2）全排序 3）辅助排序 4）二次排序 3 案例： 在流量汇总输出文件里的数据 进行分区，每个分区中的数据进行排序 数据预览，这里只是进行了流量的汇总 ...
分类：
编程语言 时间：
2019-05-07 23:03:12
阅读次数：
224
MapReduce Top N 、二次排序，MapJoin： TOP N 对于一组输入List(key,value),我们要创建一个Top N 列表,这是一种过滤模式,查看输入数据特定子集,观察用户的行为。 解决方案 key是唯一键，需要对输入进行额外的聚集处理，先把输入分区成小块，然后把每个小块发 ...
分类：
其他好文 时间：
2019-02-22 10:36:00
阅读次数：
131
上一篇博客说明了怎么自定义Key，而且用了二次排序的例子来做测试，但没有详细的说明二次排序，这一篇说详细的说明二次排序，为了说明曾经一个思想的误区，特地做了一个3个字段的二次排序来说明。后面称其为“三次排序”。测试数据：a1,b2,c5a4,b1,c3a1,b2,c4a2,b2,c4a2,b1,c4 ...
分类：
编程语言 时间：
2018-12-05 23:19:52
阅读次数：
320
一、背景 按照年份升序排序，同时每一年中温度降序排序 data文件为1949年-1955年每天的温度数据。 要求：1、计算1949-1955年，每年温度最高的时间 2、计算1949-1955年，每年温度最高的十天 二、二次排序原理 默认情况下，Map 输出的结果会对 Key 进行默认的排序，但是有时 ...
分类：
编程语言 时间：
2018-11-21 17:45:32
阅读次数：
170
先说一下mr的二次排序需求： 假如文件有两列分别为name、score，需求是先按照name排序，name相同按照score排序 数据如下： 输出结果要求： 我们常见的实现思路是： 然后是不是就ok了呢，如果就结果来说是ok的。但是内部隐藏种种问题。 现在需求换了，我要输出： 那么按照之前的逻辑，立 ...
分类：
编程语言 时间：
2018-11-11 00:59:27
阅读次数：
201
此文已由作者叶林宝授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 方案四：Sort on Cell Values 简述： 上述方案三， 当数据行数较多， 情况下， 在二次排序还是可能出现oom情况， 而且， 不同的field_index的数据可能shuffle到同一个分区， ...
分类：
编程语言 时间：
2018-10-31 10:38:41
阅读次数：
153
此文已由作者叶林宝授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 方案四：Sort on Cell Values 简述： 上述方案三， 当数据行数较多， 情况下， 在二次排序还是可能出现oom情况， 而且， 不同的field_index的数据可能shuffle到同一个分区， ...
分类：
编程语言 时间：
2018-10-31 10:38:14
阅读次数：
156
name sorce jx 10 gj 15 jx 20 gj 30 待更新... ...
分类：
编程语言 时间：
2018-10-31 01:07:47
阅读次数：
136
二次排序，从字面上可以理解为在对key排序的基础上对key所对应的值value排序，也叫辅助排序。一般情况下，MapReduce框架只对key排序，而不对key所对应的值排序，因此value的排序经常是不固定的。但是我们经常会遇到同时对key和value排序的需求，例如Hadoop权威指南中的求一年 ...
分类：
编程语言 时间：
2018-09-12 01:11:33
阅读次数：
191
