1. 凸函数 通常在实际中，最小化的函数有几个极值，所以最优化算法得出的极值不确实是否为全局的极值，对于一些特殊的函数，凸函数与凹函数，任何局部极值也是全局极致，因此如果目标函数是凸的或凹的，那么优化算法就能保证是全局的。 定义1 ：集合$R_c\subset E^n$是凸集，如果对每对点$\tex ...
分类：
编程语言 时间：
2018-12-15 14:56:33
阅读次数：
199
1、无约束最优化问题 求解此问题的方法方法分为两大类：最优条件法和迭代法。 2、最优条件法 我们常常就是通过这个必要条件去求取可能的极小值点，再验证这些点是否真的是极小值点。当上式方程可以求解的时候，无约束最优化问题基本就解决了。实际中，这个方程往往难以求解。这就引出了第二大类方法：迭代法。 最优条 ...
分类：
编程语言 时间：
2018-12-12 23:41:34
阅读次数：
349
3. 支持向量机 3.1 本质 基本模型是定义在特征空间上的间隔最大的线性分类器。核技巧使之成为实质上的非线性分类器。 学习策略是间隔最大化，可形式化为求解凸二次优化问题。等价于正则化的合页损失函数的最小化问题。 学习算法是求解凸二次规划的最优化算法。 理解支持向量机可以从简至繁推进：线性可分支持向 ...
分类：
其他好文 时间：
2018-10-10 01:00:30
阅读次数：
215
1、梯度下降法 梯度下降法是最早最简单的，也是最为常用的最优化算法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被 ...
分类：
编程语言 时间：
2018-08-27 10:29:07
阅读次数：
164
https://blog.csdn.net/jialibang/article/details/78181410 Matlab要学习 python也要学 书 冈萨雷斯的《数字图像处理》 《MATLAB图像处理实例详解》 《机器学习实战》 《泛函分析》 《最优化算法》 《矩阵分析》 ...
分类：
其他好文 时间：
2018-08-23 23:12:05
阅读次数：
243
深度学习常常需要大量的时间和计算机资源进行训练，这也是困扰深度学习算法开发的重大原因。虽然我们可以采用分布式并行训练加速模型的学习，但需要的计算资源并没有丝毫减少。而唯有需要资源更少、令模型收敛更快的最优化算法，才能从根本上加速机器的学习速度和效果，Adam算法正为此而生！ Adam优化算法是随机梯 ...
分类：
编程语言 时间：
2018-07-30 13:24:22
阅读次数：
9051
来源：http://www.hankcs.com/ml/support-vector-machine.html 一、概述 支持向量机（support vector machines，SVM)是一种二类分类模型。 支持向量机的学习算法是求解凸二次规划的最优化算法。 分类： 线性可分支持向量机（line ...
分类：
其他好文 时间：
2018-04-30 12:01:19
阅读次数：
237
声明：本文参考《 大数据：Spark mlib(三) GradientDescent梯度下降算法之Spark实现》 1. 什么是梯度下降？ 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对 ...
分类：
编程语言 时间：
2018-03-31 14:45:03
阅读次数：
176
support vector machines,SVM是二类分类模型。定义在特征空间上间隔最大的线性分类器，由于包括核技巧实质上成为非线性分类器。学习策略是间隔最大化，可形式化为求解凸二次规划问题（convex quadratic programming）。求解算法是求解凸二次规划的最优化算法。 S ...
分类：
其他好文 时间：
2018-03-08 15:56:02
阅读次数：
513
启发式算法(heuristic algorithm)是相对于最优化算法提出的。 一个问题的最优算法求得该问题每个实例的最优解。 启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被 ...
分类：
编程语言 时间：
2018-02-12 15:17:38
阅读次数：
198
