1、Java版本： 1.1、取前3package sparkcore.java;import java.util.List;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import or... ...
分类：
其他好文 时间：
2017-07-31 18:53:55
阅读次数：
171
前言 在以往工作或者面试的时候常会碰到一个问题，如何实现海量TopN，就是在一个非常大的结果集里面快速找到最大的前10或前100个数，同时要保证 内存和速度的效率，我们可能第一个想法就是利用排序，然后截取前10或前100，而排序对于量不是特别大的时候没有任何问题，但只要量特别大是根本不可能 完成这个 ...
分类：
编程语言 时间：
2017-07-23 18:28:12
阅读次数：
323
//最小堆的特性说明:即任何一非叶节点的值不大于其左右孩子节点的值。 //堆排序最适合取TOPN的数据 #include "myheap.h" int myswap(int *src, int *desc) { int tmp = 0; tmp = *src; *src = *desc; *desc ...
分类：
编程语言 时间：
2017-07-16 12:24:42
阅读次数：
219
HashMap与TreeMap按照key和value排序 使用一个场景是mapreduce中用解决topn问题是用value 排序 topn MapReducetopN ...
分类：
编程语言 时间：
2017-07-05 22:00:04
阅读次数：
249
hive 分组排序，topN 语法格式：row_number() OVER (partition by COL1 order by COL2 desc ) rankpartition by：类似hive的建表，分区的意思；order by ：排序，默认是升序，加desc降序；rank：表示别名表示根 ...
分类：
编程语言 时间：
2017-05-27 13:37:53
阅读次数：
222
在配置Hadoop集群成功后，利用官方自带的例子简单测试了一下MapReduce程序WordCount，这个例子也就相当于编程入门的HelloWorld程序了，结构清晰容易理解，并且方便说明MapReduce的工作过程。这篇随笔主要想记录下在Eclipse中编写简单的MapReduce程序的上手过程 ...
分类：
其他好文 时间：
2017-05-03 17:14:08
阅读次数：
218
SPARK用scala实现分组取topN原文件：class133class256class187class277class176class288class195class174class285class267class277class199class159class260importorg.apache.spark.SparkConfimportorg.apache.spark.SparkContextimportorg.apache.commons.collections.map.Fla..
分类：
其他好文 时间：
2017-04-28 16:12:58
阅读次数：
234
堆排序是排序的一种，一般有大根对和小根堆之说，大根对，根节点的值比左右子树的根节点的值要大。建堆我们一般是一个完全二叉树。堆排序一般面向数据量比较大的时候，数据量比较小的时候，不适合使用堆排序，比如有种情况就是topN算法的实现，一般都是借助于一个大根对来实现，扫描海量数据，把海量数据中的把最大的前 ...
分类：
编程语言 时间：
2017-03-19 17:38:34
阅读次数：
203
一：TopN的书写编码 1.先上传数据 2.程序 3.结果 4.注意点 Spark中不支持二次排序，如果想实现二次排序，需要根据业务的执行逻辑使用两阶段聚合来进行操作 二：优化 1.两阶段聚合 ...
分类：
其他好文 时间：
2017-02-14 20:28:19
阅读次数：
2073
spark版本：spark 2.0.2 scala版本：2.11.8 服务器版本：CentOS 6.7 spark TopN问题，其实就是分组、排序、组内取值问题。 在shell下输入 进入spark后输入以下命令： 参考资料： http://stackoverflow.com/questions/ ...
分类：
其他好文 时间：
2017-02-08 14:41:44
阅读次数：
686
