插值多项式的牛顿法 1.为何需要牛顿法？ ? 使用Lagrange插值法不具备继承性。当求好经过$({x_0},{y_0}) ({x_n},{y_n})$共n+1个点的插值曲线时候，如果再增加一个点，由Lagrange插值法通式$$\sum_{k=0}^{n}\frac{\prod_{i=0,i\n ...
分类：
其他好文 时间：
2019-09-21 01:19:29
阅读次数：
221
二分法开根号，通过二分法在[0,n]之间寻找合适的数（n>1时），而n<1时，需要将上限设为1，即使用二分法在[0,1]之间寻找合适的数，最终达到一定精度跳出循环，但迭代很慢。 牛顿法可以快速迭代（牛顿法介绍） ...
分类：
其他好文 时间：
2019-09-05 23:02:01
阅读次数：
111
今天给大家分享的是最优化理论。 简单的来说，就是求一个函数（空间上的一条曲线或曲面）在一个区间中的最小值。由于函数有可能很复杂，或区间范围很大，我们就利用最优化来将区间缩小。最后，确定我们所要的最小值是在经过计算后的缩小的范围中能够得到。 当然，以上的说法不是特别准确。但是，我们可以简单认为是求函数 ...
分类：
其他好文 时间：
2019-08-19 22:58:43
阅读次数：
97
今日学习打卡，logistic regression 这个概念来自于统计学，也可用于机器学习，可用于2项分类（0，1），也可以多项分类（0，1，2，...）。 线性回归，一般用R2来作为检测模型好坏的指标。 logistic regression则是用likelihood，计算每个值的likelih ...
分类：
其他好文 时间：
2019-07-29 14:28:11
阅读次数：
98
Optimizer SGD Momentum Nesterov(牛顿动量) 二.自适应参数的优化算法 这类算法最大的特点就是，每个参数有不同的学习率，在整个学习过程中自动适应这些学习率。 AdaGrad RMSProp Adam 二阶近似的优化算法 牛顿法 共轭梯度法 BFGS LBFGS ...
分类：
编程语言 时间：
2019-07-23 15:21:57
阅读次数：
127
二分法: 二分的思想很直观，就不断做折半，但这里注意需要设置一个精度来替代0，由于开根号并不一定保证能够开方取尽。这里取limit = 0.00002。 牛顿法： 设r是f(x) = 0的根，选取x0作为r初始近似值，过点（x0,f(x0)）做曲线y = f(x)的切线L，L的方程为y = f(x0 ...
分类：
其他好文 时间：
2019-07-21 16:39:01
阅读次数：
107
int mySqrt(int x) { double t=1.0; //初始迭代值 double cheak; //误差 double p = 1e-2; //误差上限 do { t = (x / t + t) / 2.0; cheak = t * t - x; } while((cheak >= ...
分类：
其他好文 时间：
2019-07-09 14:05:50
阅读次数：
98
梯度下降法、最速下降法、牛顿法等迭代求解方法，都是在无约束的条件下使用的，而在有约束的问题中，直接使用这些梯度方法会有问题，如更新后的值不满足约束条件。如何处理有约束的优化问题？大致可以分为以下两种方式： 1. 将有约束的问题转化为无约束的问题，如拉格朗日乘子法和KKT条件； 2. 对无约束问题下的... ...
分类：
其他好文 时间：
2019-06-24 21:23:08
阅读次数：
202
牛顿法： 设r是f(x) = 0的根，选取x0作为r初始近似值，过点（x0,f(x0)）做曲线y = f(x)的切线L，L的方程为y = f(x0)+f'(x0)(x-x0)，求出L与x轴交点的横坐标 x1 = x0-f(x0)/f'(x0)，称x1为r的一次近似值。 过点（x1,f(x1)）做曲线 ...
分类：
编程语言 时间：
2019-03-19 12:21:32
阅读次数：
158
梯度下降： 1，批量梯度（BGD），随机梯度下降法（SGD），小批量梯度下降法（MBGD）的区别 2，和最小二乘比较 1，梯度下降法需要选择步长，而最小二乘法不需要。 2，梯度下降法是迭代求解，最小二乘法是计算解析解。 3，最小二乘仅适用数据量较小的情况下 3，和牛顿法比较 1，梯度下降法是梯度求解 ...
分类：
其他好文 时间：
2019-02-22 10:39:45
阅读次数：
184
