求解非线性优化问题的有效手段 牛顿法：优点：收敛速度快 缺点：定步长迭代，有时会使函数值上升。计算量大，要求函数必须有连续的一、二阶偏导数，海森矩阵必须正定 拟牛顿法：在牛顿法的基础上加入了寻求最优步长因子 示例代码：求解目标函数的局部最小值 主函数： 目标函数： 运行结果： ...
分类：
其他好文 时间：
2018-05-13 13:49:49
阅读次数：
142
牛顿法、拟牛顿法 https://blog.csdn.net/jinshengtao/article/details/51615162 Levenberg–Marquardt算法 https://blog.csdn.net/jinshengtao/article/details/53310804 ...
分类：
其他好文 时间：
2018-04-03 17:15:10
阅读次数：
168
一、概述 我们知道，机器学习的特点就是：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。所以本文就先介绍一下机器学习涉及到的一些最常用的的数学知识。 二、线性代数 2-1、标量 一个标量就是一个单独的数，一般 ...
分类：
其他好文 时间：
2018-03-03 21:21:20
阅读次数：
366
DFP该算法的核心是：通过迭代的方法，对Hk+1(-1)近似。迭代方式：其中D0通常取为单位矩阵，关键是每一步构造矫正矩阵△Dk。考虑△Dk 的待定形式为拟牛顿的条件这里插播一下拟牛顿的条件。前面有讲到，拟牛顿法是想找到一个近似矩阵D来近似海森矩阵H的逆。显然D的选择是必须有条件的。为了表示清楚，下... ...
分类：
其他好文 时间：
2017-12-24 11:20:56
阅读次数：
242
拟牛顿法 拟牛顿法是求解非线性优化问题最有效的方法之一。DFP、BFGS、L-BFGS算法都是重要的拟牛顿法。 求函数的根 对f（x）在Xn附近做一阶泰勒展开 f(x)=f(Xn)+f’(Xn)(x-Xn) 假设Xn+1是该方程的根 那么就得到 Xn+1=Xn-f(Xn)/f’(Xn) 通过不断迭代 ...
分类：
其他好文 时间：
2017-12-23 17:23:48
阅读次数：
239
数学基础与计算机基础 算法基础方面 牛顿法、随机梯度下降法、拟牛顿法、BFGS 传统机器学习 深度学习 CNN-基础学习与应用 十一期间 RNN 算法应用方面 工程方面 kaggle 十一期间把第一个项目流程完整走下来 java hadoop spark mapreduce c++? http:// ...
分类：
其他好文 时间：
2017-09-29 11:00:23
阅读次数：
167
摘要： 1.最小二乘法 2.梯度下降法 3.最大（对数）似然估计（MLE） 4.最大后验估计（MAP） 5.期望最大化算法（EM） 6.牛顿法 7.拟牛顿迭代（BFGS） 8.限制内存-拟牛顿迭代（L-BFGS） 9.深度学习中的梯度优化算法 10.各种最优化方法比较 拟牛顿法和牛顿法区别，哪个收敛 ...
分类：
其他好文 时间：
2017-09-22 16:34:16
阅读次数：
211
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的 ...
分类：
其他好文 时间：
2017-09-16 22:05:03
阅读次数：
237
两轮技术骨干，一轮技术总监，最后CTO，然后hr。总共四轮技术+hr，还是小有收获的。 总体觉得面试问题灵活，难度中和公司业务衔接的知识点结合强。下面说下具体的流程： 一、一面 1、两道代码（时间复杂度） 2、k-means的伪码（提及了EM） 3、项目有挑战的地方，调参 4、讲解word2vec ...
分类：
编程语言 时间：
2017-08-11 21:10:41
阅读次数：
148
牛顿法、拟牛顿法相关资料： http://www.cnblogs.com/richqian/p/4535550.html https://www.codelast.com/%E5%8E%9F%E5%88%9B%E6%8B%9F%E7%89%9B%E9%A1%BF%E6%B3%95quasi-newt ...
分类：
其他好文 时间：
2017-08-02 13:11:34
阅读次数：
157
