watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt=""> watermark/2/text/aHR0cD... ...
分类：
其他好文 时间：
2017-06-03 17:34:56
阅读次数：
137
转载链接：http://blog.csdn.net/itplus/article/details/21897715 前面的拟牛顿法、DFP、BFGS、L-BFGS算法简短总结一下就是： 牛顿法不仅使用了梯度还使用了梯度下降的趋势，所以能加速下降；DFP和BFGS为了弥补牛顿法的不足（海森矩阵必须可逆 ...
分类：
编程语言 时间：
2017-05-13 11:20:44
阅读次数：
242
转载链接：http://blog.csdn.net/itplus/article/details/21896453 ...
分类：
其他好文 时间：
2017-05-13 10:03:14
阅读次数：
113
最速下降法/steepest descent，牛顿法/newton，共轭方向法/conjugate direction，共轭梯度法/conjugate gradient 及其他 拟牛顿法/Quasi-Newton，DFP算法/Davidon-Fletcher-Powell，及BFGS算法/Broyd ...
分类：
编程语言 时间：
2016-11-08 17:20:09
阅读次数：
162
今天看到有个同学分享了关于算法学习的思路，觉得对于我来说启发很大，因此决定把他说的一些东西写下来以提醒自己： 首先是算法的产生背景，适用场合（数据规模，特征维度，是否有Online算法，离散/连续特征处理） 原理推导（最大间隔，软间隔，对偶） 求解方法（随机梯度下降，拟牛顿法等优化算法）； 优缺点， ...
分类：
编程语言 时间：
2016-08-11 00:39:36
阅读次数：
168
本章总结优化学习率的知识，而前置知识就是“线性回归、梯度下降算法”，因此如果这一章你看的云里雾里甚至连学习率是什么都不知道的话就需要先吧前置知识搞定了。
其他说明
因为本总结的前置知识是“线性回归、梯度下降算法”，所以之后的内容都是以“求目标函数f(x)的极小值”为目的。
不过不用担心求极大值的话该怎么办，因为直接给f(x)加个负号就将问题转换为了求极小值问题了。...
分类：
其他好文 时间：
2016-07-13 16:28:05
阅读次数：
384
逻辑斯蒂回归的牛顿法与拟牛顿法求解，DFP和BFGS的python实现。 ...
分类：
其他好文 时间：
2016-07-09 23:31:38
阅读次数：
356
一直记不住这些算法的推导，所以打算详细点写到博客中以后不记得就翻阅自己的笔记。 泰勒展开式 最初的泰勒展开式，若 在包含 的某开区间（a，b）内具有直到n+1阶的导数，则当x∈（a，b）时，有： 令可得到如下式子： 泰勒展开我的理解就有两个式子。 参考文献：http://baike.baidu.co ...
分类：
编程语言 时间：
2016-07-04 23:40:47
阅读次数：
244
牛顿法推导 牛顿法相当于已知一点的函数值，一介函数值，二阶函数值，可以拟合出一个二次方程的曲线，然后二次方程的最低点也就是下一次更新的x值 但是会面对二阶导非正定的情况，加上hessen矩阵求非常麻烦，所以就有了拟牛顿BFGS B0的初始值，工程上不是I，取为yk/sk,也就是近似的二阶导 ...
分类：
其他好文 时间：
2016-07-03 21:49:13
阅读次数：
141
Gradient Descent 机器学习中很多模型的参数估计都要用到优化算法，梯度下降是其中最简单也用得最多的优化算法之一。梯度下降(Gradient Descent)[3]也被称之为最快梯度(Steepest Descent)，可用于寻找函数的局部最小值。梯度下降的思路为，函数值在梯度反方向下降 ...
分类：
其他好文 时间：
2016-05-22 19:56:18
阅读次数：
837
