机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录...
分类：
其他好文 时间：
2014-06-02 07:31:21
阅读次数：
227
1.RMQ问题
RMQ (Range Minimum/Maximum Query)：对于长度为n的数组A，回答若干询问RMQ(A,i,j)(i,jRMQ问题是指求区间最值的问题。最简单的方法，就是遍历数组直接搜索，但是这种方式时间复杂度是O(n)。对于数组长度较大，性能要求高的场景不适用。
2.ST（Sparse Table）算法
ST算法是一种更加高效的算法，以O(nlog...
分类：
其他好文 时间：
2014-05-25 22:28:29
阅读次数：
375
之前看Autoencoder的时候，做了一下这里的练习：http://ufldl.stanford.edu/wiki/index.php/Exercise:Sparse_Autoencoder 。其实 从1月份就开始做了，当时没有调试通过，后来又加班太多，一直没有接着做。直到上上周末抽空调了一天，终于顺利完成了，又拖到这周末才开始把实验结果整理成文。看来，做事还得趁热打铁，一气呵成。时间一久，积极...
分类：
其他好文 时间：
2014-05-25 08:53:28
阅读次数：
907
接着上一篇博文，继续分析Ext4磁盘布局中的元数据。1.7超级块超级块记录整个文件系统的大量信息，如数据块个数、inode个数、支持的特性、管理信息，等待。如果设置sparse_super特性标志，超级块和块组描述符表的冗余备份仅存放在编号为0或3、5、7的幂次方的块组中。如果未设置sparse_s...
分类：
其他好文 时间：
2014-05-20 11:24:38
阅读次数：
474
马毅，清华自动化和数学双学士，UCB电子工程与计算机科学硕士，博士，数学硕士。博士毕业时拿到了计算机视觉领域最高奖Marr prize。后来研究sparse
representation，开始领跑这个方向。现为UIUC计算机系副教授，MSRA视觉计算组负责人。马毅，成长于四川，就学于北京清华，深造于...
分类：
其他好文 时间：
2014-05-15 09:56:01
阅读次数：
382
