在许多生产时间问题中，我们根据已知条件往往会列出一个一元非线性方程，一个最典型的例子就是银行存款的问题，由于其利息需要基于前一年的本息和，因此列出来的方程x的指数往往是高次的。还有物理问题当中一系列用微分方程导出的一元非线性方程。因此如何求解一元非线性方程，是计算数学要解决的重要问题之一。 牛顿法： ...
分类：
其他好文 时间：
2016-08-12 06:45:33
阅读次数：
152
今天看到有个同学分享了关于算法学习的思路，觉得对于我来说启发很大，因此决定把他说的一些东西写下来以提醒自己： 首先是算法的产生背景，适用场合（数据规模，特征维度，是否有Online算法，离散/连续特征处理） 原理推导（最大间隔，软间隔，对偶） 求解方法（随机梯度下降，拟牛顿法等优化算法）； 优缺点， ...
分类：
编程语言 时间：
2016-08-11 00:39:36
阅读次数：
168
机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。梯度下降的目的是直接求解目标函数极小值，而牛顿法则变相地通过求解目标函数一阶导为零的参数值，进而求得目标函数最小值。在逻辑回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。...
分类：
其他好文 时间：
2016-07-16 07:02:38
阅读次数：
216
本章总结优化学习率的知识，而前置知识就是“线性回归、梯度下降算法”，因此如果这一章你看的云里雾里甚至连学习率是什么都不知道的话就需要先吧前置知识搞定了。
其他说明
因为本总结的前置知识是“线性回归、梯度下降算法”，所以之后的内容都是以“求目标函数f(x)的极小值”为目的。
不过不用担心求极大值的话该怎么办，因为直接给f(x)加个负号就将问题转换为了求极小值问题了。...
分类：
其他好文 时间：
2016-07-13 16:28:05
阅读次数：
384
逻辑斯蒂回归的牛顿法与拟牛顿法求解，DFP和BFGS的python实现。 ...
分类：
其他好文 时间：
2016-07-09 23:31:38
阅读次数：
356
一直记不住这些算法的推导，所以打算详细点写到博客中以后不记得就翻阅自己的笔记。 泰勒展开式 最初的泰勒展开式，若 在包含 的某开区间（a，b）内具有直到n+1阶的导数，则当x∈（a，b）时，有： 令可得到如下式子： 泰勒展开我的理解就有两个式子。 参考文献：http://baike.baidu.co ...
分类：
编程语言 时间：
2016-07-04 23:40:47
阅读次数：
244
前言： 在上一讲Deep learning：五(regularized线性回归练习)中已经介绍了regularization项在线性回归问题中的应用，这节主要是练习regularization项在logistic回归中的应用，并使用牛顿法来求解模型的参数。参考的网页资料为：http://opencl... ...
分类：
其他好文 时间：
2016-07-03 23:14:00
阅读次数：
315
牛顿法推导 牛顿法相当于已知一点的函数值，一介函数值，二阶函数值，可以拟合出一个二次方程的曲线，然后二次方程的最低点也就是下一次更新的x值 但是会面对二阶导非正定的情况，加上hessen矩阵求非常麻烦，所以就有了拟牛顿BFGS B0的初始值，工程上不是I，取为yk/sk,也就是近似的二阶导 ...
分类：
其他好文 时间：
2016-07-03 21:49:13
阅读次数：
141
1、求解方程。 并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。 原理是利用泰勒公式，在x0处展开，且展开到一阶，即f(x) = f(x0)+(x－x0)f'(x0) 求解方程f(x)=0，即f(x0)+(x-x0)*f'(x0)=0，求解x = x1=x0 ...
分类：
其他好文 时间：
2016-06-16 13:09:31
阅读次数：
573
Gauss-Newton算法是解决非线性最优问题的常见算法之一，最近研读DPPTAM开源项目代码，又碰到了，索性深入看下。本次讲解内容如下：基本数学名词识记牛顿法推导、算法步骤、计算实例高斯牛顿法推导(如何从牛顿法派生)、算法步骤、编程实例高斯牛顿法优劣总结一、基本概念定义1.非线性方程定义及最优化方法简述 指因变量与自变量之间的关系不是线性的关系，比如平方关系、对数关系、指数关系、三角函数关...
分类：
编程语言 时间：
2016-06-12 02:38:36
阅读次数：
202
