矩阵求导 目录 一、 矩阵求导的基本概念 1. 一阶导定义 2. 二阶导数 二、 梯度下降 1. 方向导数. 1.1 定义 1.2 方向导数的计算公式. 1.3 梯度下降最快的方向 1.4 最速下降方向的判断. 1.5 最速梯度下降的迭代式 2. 牛顿法 2.1 引入一元函数极值判别法 （1）导数分 ...
分类：
其他好文 时间：
2017-10-04 22:01:31
阅读次数：
231
矩阵求导 目录 一、 矩阵求导的基本概念 1. 一阶导定义 2. 二阶导数 二、 梯度下降 1. 方向导数. 1.1 定义 1.2 方向导数的计算公式. 1.3 梯度下降最快的方向 1.4 最速下降方向的判断. 1.5 最速梯度下降的迭代式 2. 牛顿法 2.1 引入一元函数极值判别法 （1）导数分 ...
分类：
其他好文 时间：
2017-10-04 16:41:24
阅读次数：
233
20171001 所学内容：分治倍增，搜索模拟，位运算+考试 【时间复杂度】 表示运行时间的增长趋势 T(N)=T(N/2)+O(1) 二分查找 T(N)=2*T(N/2)+O(1) 线段树的节点个数 T(N)=2*T(N/2)+O(N) 快排/归并排序 T(N)=a*T(N/b)+f(1) è主定 ...
分类：
其他好文 时间：
2017-10-02 21:27:52
阅读次数：
159
原帖地址：http://www.cnblogs.com/pinard/p/5976811.html最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让... ...
分类：
其他好文 时间：
2017-09-23 14:28:50
阅读次数：
173
梯度下降法在凸优化中应用很广泛。经常使用于求凸函数极值。梯度是个向量。其形式为 一般是表示函数上升最快的方向。因此。我们仅仅须要每一步往梯度方向走一小步。终于就能够到达极值点，其表现形式为： 初始点为x0。 然后往梯度的反方向移动一小步r到x1。 再次往梯度反方向移动r到x2，... ...。终于会 ...
分类：
其他好文 时间：
2017-04-27 23:20:51
阅读次数：
433
最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。 1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式： 目标函数 = ...
分类：
其他好文 时间：
2017-04-05 22:10:55
阅读次数：
255
基本的拉格朗日乘子法是求函数f(x1,x2,...)在g(x1,x2,...)=0的约束条件下的极值的方法。 主要思想：引入一个新的参数λ(即拉格朗日乘子)，将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。 假设需要求极值的目标函数为f(x, ...
分类：
其他好文 时间：
2016-11-11 23:24:04
阅读次数：
262
最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。 1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式： 目标函数 = ...
分类：
其他好文 时间：
2016-10-19 14:12:24
阅读次数：
163
求解条件极值的方法：拉格朗日乘数法 基于对多元函数极值方法的了解，再具体的问题中我们发现这样一个问题，在求解f(x,y,z)的极值的时候，我们需要极值点落在g(x,y,z)上这种对极值点有约束条件，通过直接代换消元的方法似乎会出现一些问题。 比如这个例题。 它面临的问题是，代换消元然后通过求偏导得来 ...
分类：
其他好文 时间：
2016-07-11 07:49:34
阅读次数：
186
