摘要： 1.最小二乘法 2.梯度下降法 3.最大（对数）似然估计（MLE） 4.最大后验估计（MAP） 5.期望最大化算法（EM） 6.牛顿法 7.拟牛顿迭代（BFGS） 8.限制内存-拟牛顿迭代（L-BFGS） 9.深度学习中的梯度优化算法 10.各种最优化方法比较 拟牛顿法和牛顿法区别，哪个收敛 ...
分类：
其他好文 时间：
2017-09-22 16:34:16
阅读次数：
211
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的 ...
分类：
其他好文 时间：
2017-09-16 22:05:03
阅读次数：
237
梯度下降算法，参考Edwin《最优化导论》8.2章节，算法采用go语言实现。 此处算法仍然存在疑惑，主要是获取梯度下降时如何确定步长，即使采用割线法获取最优步长，那么割线法的初始值又如何确定？？ 下面程序中虽然采用了牛顿法获取极值，但非常依赖初始取值范围！！ ...
分类：
编程语言 时间：
2017-09-16 17:23:12
阅读次数：
154
这里记录下一些关于牛顿法来作为优化器的个人笔记 ：） 关于牛顿法，先不说其中的概念，来简单看一个例子？ 不用计算器，如何手动开一个值的平方根，比如计算{sqrt(a) | a=4 } ？ 不用程序和代码如何求？ 比较简单有木有，直接上用公式来套就好了. xt = ( xt-1 + ( a / xt- ...
分类：
其他好文 时间：
2017-09-08 20:39:18
阅读次数：
254
2017-08-12 Logistic 回归，作为分类器： 分别用了梯度上升，牛顿法来最优化损失函数： # -*- coding: utf-8 -*-'''function: 实现Logistic回归，拟合直线，对数据进行分类；利用梯度上升，随机梯度上升，改进的随机梯度上升，牛顿法分别对损失函数优化 ...
分类：
编程语言 时间：
2017-08-13 00:18:32
阅读次数：
347
两轮技术骨干，一轮技术总监，最后CTO，然后hr。总共四轮技术+hr，还是小有收获的。 总体觉得面试问题灵活，难度中和公司业务衔接的知识点结合强。下面说下具体的流程： 一、一面 1、两道代码（时间复杂度） 2、k-means的伪码（提及了EM） 3、项目有挑战的地方，调参 4、讲解word2vec ...
分类：
编程语言 时间：
2017-08-11 21:10:41
阅读次数：
148
I. 牛顿迭代法给定一个复杂的非线性函数f(x)，希望求它的最小值，我们一般可以这样做，假定它足够光滑，那么它的最小值也就是它的极小值点，满足f′(x0)=0，然后可以转化为求方程f′(x)=0的根了。非线性方程的根我们有个牛顿法，所以 然而，这种做法脱离了几何意义，不能让我们窥探到更多的秘密。我们 ...
分类：
编程语言 时间：
2017-08-02 19:05:04
阅读次数：
469
牛顿法、拟牛顿法相关资料： http://www.cnblogs.com/richqian/p/4535550.html https://www.codelast.com/%E5%8E%9F%E5%88%9B%E6%8B%9F%E7%89%9B%E9%A1%BF%E6%B3%95quasi-newt ...
分类：
其他好文 时间：
2017-08-02 13:11:34
阅读次数：
157
牛顿迭代法求解平方根 牛顿迭代法求解平方根 2015-05-16 10:30 2492人阅读 评论(1) 收藏 举报 2015-05-16 10:30 2492人阅读 评论(1) 收藏 举报 版权声明：本文为博主原创文章，未经博主允许不得转载。 版权声明：本文为博主原创文章，未经博主允许不得转载。 ...
分类：
其他好文 时间：
2017-07-14 23:53:57
阅读次数：
281
梯度下降法 梯度下降法用来求解目标函数的极值。这个极值是给定模型给定数据之后在参数空间中搜索找到的。迭代过程为： 可以看出，梯度下降法更新参数的方式为目标函数在当前参数取值下的梯度值，前面再加上一个步长控制参数alpha。梯度下降法通常用一个三维图来展示，迭代过程就好像在不断地下坡，最终到达坡底。为 ...
分类：
编程语言 时间：
2017-07-11 19:23:41
阅读次数：
160
