相关包下载链接 https://github.com/sripathikrishnan/redis-rdb-tools/releaseshttps://pypi.org/project/python-lzf/https://pypi.python.org/simple/redis/ 安装 pip i ...
分类：
其他好文 时间：
2018-12-13 21:45:19
阅读次数：
229
分组的key可以指定元素的属性，也可以指定元素的方法，通过自己实现复杂方法和聚合函数，可以实现很强大的分组功能。
分类：
编程语言 时间：
2018-11-06 22:22:27
阅读次数：
174
topN问题：给出一个数组，找出前N个最大的元素。 topN问题可以用分治法解决，这个问题与快速排序类似，快速排序是用一个数对数组进行划分，topN问题则不需完成排序，只需划分出前n个最大的数字即可。所以可以采用快排中partition函数的操作，将每次操作的返回值与N作对比，若比N小则对N及其后续 ...
分类：
其他好文 时间：
2018-11-01 22:23:23
阅读次数：
166
题 目：如果在N个数中找出其中前K大的数？ 思路一： 先对N个数进行排序，然后在取其前K大的数；（冒泡排序，快速排序等） 思路二： 部分排序，只排除前K大的数即可（使用选择排序进行部分排序，选择排序的时间复杂度O(N2)） 思路三： 我可以用分治法，这有点类似快排中partition的操作。随机选一 ...
分类：
编程语言 时间：
2018-10-22 20:13:19
阅读次数：
180
一：特殊用法 我们上来不讲普通用法，普通用法放到最后。我们来谈一谈特殊用法，了解这一用法，让你的mapreduce编程能力提高一个档次，毫不夸张！！！扯淡了，让我们进入正题： 我们知道reduce和map都有一个局限性就是map是读一行执行一次，reduce是每一组执行一次 但是当我们想全部得到数据 ...
分类：
其他好文 时间：
2018-08-31 17:04:49
阅读次数：
220
https://yq.aliyun.com/articles/457445?spm=a2c4e.11154873.tagmain.112.5a2f788dydzXjE ...
分类：
数据库 时间：
2018-08-25 16:23:55
阅读次数：
474
package cn.sjq.mr.sort;import java.io.FileOutputStream;import java.io.IOException;import java.util.Comparator;import java.util.Random;import java.util.TreeSet;import java.util.UUID;import org.apache.h
分类：
其他好文 时间：
2018-08-08 18:17:04
阅读次数：
188
数据结构：链表、栈、队列：链表插入元素。Huffman树：树的构建。二叉树、平衡二叉树：树的遍历（前序中序后序），查找树中两个元素和为某个值的叶子节点。堆：大（小）顶堆构建，topN的数。排序：冒泡排序，插入排序。查找：二分查找，快速查找。高级数据结构：动态规划、分治算法机器学习： 监督学习算法： ...
分类：
其他好文 时间：
2018-08-02 19:17:48
阅读次数：
132
制作测试数据源： spark scala实现代码： 打印结果： ...
分类：
其他好文 时间：
2018-07-25 01:14:00
阅读次数：
211
Spark高级排序与TopN问题揭密，关键在于TopN问题中如何使用combineByKey来解决groupByKey中的性能问题
分类：
编程语言 时间：
2018-04-28 11:47:43
阅读次数：
194
