Collections的sort方法代码： public static void sort(List list, Comparator c) { Object[] a = list.toArray(); Arrays.sort(a, (Comparator)c); ListIterator i = list.listIterator(); for (int j=0; j i.next...
分类：
其他好文 时间：
2014-07-29 22:08:52
阅读次数：
364
Spark SQL 物理计划到 RDD 的计算过程实现。...
分类：
数据库 时间：
2014-07-29 22:08:02
阅读次数：
656
CSDN开源夏令营 百度数据可视化实践 ECharts（5） map和timeline的搭配 动态足球场 世界杯 源码分析！！...
分类：
其他好文 时间：
2014-07-29 17:58:52
阅读次数：
411
leveldb作为一个KV存储引擎将数据持久化到磁盘，而对于一个存储引擎来说在存储过程中因为一些其他原因导致程序down掉甚至数据文件被破坏等都会导致程序不能按正常流程再次启动。那么遇到这些状况以后如何使程序最大程度的恢复数据就是非常重要的一项工作，leveldb也提供了这方面的工作。首先来看rec...
分类：
数据库 时间：
2014-07-29 17:23:52
阅读次数：
409
Spark SQL之Catalyst的物理计划，讲解了物理计划的产生过程，以及涉及到的策略。...
分类：
数据库 时间：
2014-07-29 14:46:18
阅读次数：
514
最近邻问题（nearest neighbor problem）可以定义如下：给定n个对象的集合并建立一个数据结构，当给定任意的要查询对象时，该数据结构返回针对查询对象的最相似的数据集对象。LSH的基本思想是利用多个哈希函数把高维空间中的向量映射到低维空间，利用低维空间的编码来表示高维向量。通过对向量对象进行多次哈希映射，高维向量按照其分布以及自身的特性落入不同哈希表的不同桶中。在理想情况下可以认为在高维空间中位置比较接近的向量对象有很大的概率最终落入同一个桶中，而距离比较远的对象则以很大的概率落入不同的桶中...
分类：
其他好文 时间：
2014-07-29 14:25:28
阅读次数：
219
Spark SQL 源码分析系列文章，从整个SQL执行流程到各个环节的关键组件，以及Catalyst框架的讲解。...
分类：
数据库 时间：
2014-07-29 13:10:36
阅读次数：
328
原创文章，链接：
(I) connection.py
负责根据setting中配置实例化redis连接。被dupefilter和scheduler调用，总之涉及到redis存取的都要使用到这个模块。
(II) dupefilter.py
负责执行requst的去重，实现的很有技巧性，使用redis的set数据结构。但是注意scheduler并不使用其中用于在这个模块中实现的dupe...
分类：
其他好文 时间：
2014-07-28 16:10:23
阅读次数：
395
前言：貌似以前自己也写过图片懒加载插件，但是新公司使用的是jQuery.lazyload插件，为了更好的运用，自己还是把源码看了遍，分别记录了如何使用，插件原理，各个配置属性的完整解释，demo实例，源码分析(较简短)，源码分析可以配合使用，配置属性，原理进行阅读，如需转载，请注明出处博客园 华子y...
分类：
Web程序 时间：
2014-07-27 22:59:59
阅读次数：
391
分析完leveldb以后，接下来的时间准备队tair的源码进行阅读和分析。我们刚刚分析完了leveldb而在tair中leveldb是其几大存储引擎之一，所以我们这里首先从tair对leveldb的使用和修改来窥探在这个分布式的存储引擎中是如何将area和bucket持久化到存储，并且方便bucke...
分类：
数据库 时间：
2014-07-27 22:41:49
阅读次数：
574
