【转载请注明出处】http://www.cnblogs.com/mashiqi
2014/5/18 以下想法纯属个人的体会，肯定有很多不周到的地方，欢迎大家指正！
变分思想的源头：引入一个实数，于是可将不好处理的”泛函对函数求导“问题转化为稍微可以下手的”函数对实数求导“的问题。这样的转化得以进行，...
分类：
其他好文 时间：
2014-05-27 02:39:18
阅读次数：
276
最近在搞论文，需要用梯度下降算法求解，所以重新整理分享在这里。主要包括梯度介绍、公式求导、学习速率选择、代码实现。
梯度下降的性质：
1.求得的解和选取的初始点有关
2.可以保证找到局部最优解，因为梯度最终会减小为0，即步长会自动越来越小。
梯度简介
一个多元函数的在某点的梯度方向是函数值在该点增长最快的方向，即方向导数取最大值的方向。
问题描述公式求导学习率选择
假...
分类：
其他好文 时间：
2014-05-07 07:05:49
阅读次数：
287
