今天把一维搜索和共轭梯度法加在牛顿法前面，发现模拟比较顺利了。这个是模拟的结果，从左到右硬度递增来自为知笔记(Wiz)附件列表rodCG.gifrodCG0.gifrodCG2.gif
分类：
其他好文 时间：
2015-02-05 17:54:29
阅读次数：
139
主讲人 网络上的尼采
（新浪微博: @Nietzsche_复杂网络机器学习）
网络上的尼采(813394698) 9:11:56
开始吧，先不要发言了，先讲PRML第二章Probability Distributions。今天的内容比较多，还是边思考边打字，会比较慢，大家不要着急，上午讲不完下午会接着讲。 顾名思义，PRML第二章Probability Distributions的...
分类：
其他好文 时间：
2015-02-03 17:19:37
阅读次数：
295
第一次接触 MATLAB，主要是算法的模拟实现，所以熟悉他是必要的，从最近学的复变函数入手，使用的是清华大学出版社的《复变函数与积分变换》上的例子来熟悉MATLAB的。尽管有代码还是有诸多问题1.在最后结果的显示上，分数和小数一直不知道是怎么个规律2.在共轭复数上出现了问题在看相关文档时也发现许多欠...
分类：
其他好文 时间：
2015-01-28 00:50:10
阅读次数：
287
今天继续看Numerical Optimization这本书，在看第六章，实用牛顿法。6.1 提到“不准确”的牛顿法。意思是每次确定迭代方向都要解方程，很慢，实际上也不一定要解出非常精确的迭代方向。于是尝试用一些迭代解法（例如，共轭梯度法）去解 H*x + G = 0这个方程。6.2 提到通过共轭梯...
分类：
其他好文 时间：
2015-01-16 13:02:20
阅读次数：
135
了解LDA需要明白如下数学原理：
一个函数：gamma函数
四个分布：二项分布、多项分布、beta分布、Dirichlet分布
一个概念和一个理念：共轭先验和贝叶斯框架
两个模型：pLSA、LDA（文档-主题，主题-词语）
一个采样：Gibbs采样...
分类：
其他好文 时间：
2015-01-13 10:32:11
阅读次数：
185
定义：设矩阵A是定义在复数域上的m * n阶矩阵，则存在酉矩阵P、Q使得其中，P、Q为酉矩阵，而（说明：1、上标H表示共轭转置，2、当复数矩阵U满足UHU = UUH = E时，U称为酉矩阵；3、diag表示对角矩阵）A = PDQH 称为A的奇异值分解式；求借A的奇异值分解(1) 令 B = AH...
分类：
其他好文 时间：
2014-11-25 01:31:09
阅读次数：
183
1、多项式分布 2、文本的多项式分布建模3、共轭先验4、概率平滑｛Lapace平滑、加1平滑、Dirichlet贝叶斯平滑、2阶段语言模型｝5、似然函数6、log似然函数7、期望最大化算法8、条件概率9、贝叶斯全公式10、生成模型11、判别模型12、条件期望13、拉格朗日系数14、VSM，LSI，P...
分类：
其他好文 时间：
2014-10-19 21:18:18
阅读次数：
198
L-BFGS算法比较适合在大规模的数值计算中，具备牛顿法收敛速度快的特点，但不需要牛顿法那样存储Hesse矩阵，因此节省了大量的空间以及计算资源。本文主要通过对于无约束最优化问题的一些常用算法总结，一步步的理解L-BFGS算法，本文按照最速下降法 - 牛顿法 - 共轭梯度法 - 拟牛顿法 - DFP...
分类：
其他好文 时间：
2014-10-14 17:37:39
阅读次数：
349
原文链接正定矩阵是自共轭矩阵的一种。正定矩阵类似复数中的正实数。定义：对于对称矩阵M，当且仅当存在任意向量x，都有若上式大于等于零，则称M为半正定矩阵。正定矩阵记为M>0。也被称为正定二次型正定矩阵的判定1、所有特征值为正数（根据谱定理，若条件成立，必然可以找到对角矩阵的D和正定矩阵P，使M=P^-...
分类：
其他好文 时间：
2014-10-12 19:15:58
阅读次数：
168
