1. 梯度下降法（Gradient Descent） 梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该 ...
分类：
编程语言 时间：
2016-08-03 20:03:46
阅读次数：
184
矩阵链乘最优化算法(括号化算法)，关键要找到A[i]...A[j]矩阵链相乘做最少乘法次数（存在m[][]中）的相乘顺序，记录在矩阵s[][]中。再利用递归定义矩阵链乘算法。递归的出口是只有一个矩阵（直接返回）或者两个矩阵（返回相乘后的结果矩阵）的情况。 1 //#include"OptimalMa ...
分类：
其他好文 时间：
2016-06-18 18:24:20
阅读次数：
166
在前一篇文章中，我们给出了感知器和逻辑回归的求解，还将SVM算法的求解推导到了最后一步，在这篇文章里面，我们将给出最后一步的求解。也就是我们接下来要介绍的序列最小最优化算法。 序列最小最优化算法（SMO）： 首先回顾一下。我们使用广义拉格朗日函数，将目标函数和限制条件写到一起，然后证明了原始问题能够 ...
分类：
编程语言 时间：
2016-06-13 17:12:10
阅读次数：
1361
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法...
分类：
编程语言 时间：
2016-06-12 03:11:51
阅读次数：
283
SMO例子： 1 from numpy import * 2 import matplotlib 3 import matplotlib.pyplot as plt 4 5 def loadDataSet(fileName): 6 dataMat = []; labelMat = [] 7 fr = ...
分类：
编程语言 时间：
2016-06-11 00:33:08
阅读次数：
214
本章内容 □sigmod函数和logistic回归分类器 □最优化理论初步□梯度下降最优化算法□数据中的缺失项处理 这会是激动人心的一章，因为我们将首次接触到最优化算法。仔细想想就会发现，其实我们日常生活中遇到过很多最优化问题，比如如何在最短时间内从入点到达氏点？如何投人最少工作量却获得最大的效益？ ...
分类：
其他好文 时间：
2016-05-01 17:46:11
阅读次数：
288
支持向量机是一个二类分类模型，但也可以扩展为多类分类。其基于间隔最大化和核技巧的特点可以使它可以灵活处理线性或非线性分类问题。
支持向量机可是形式化为一个凸二次规划问题，学习算法是求解基于凸二次规划的最优化算法。
按照训练数据是否线性可分，支持向量机可以分为基于硬间隔的线性可分支持向量机、基于软间隔的线性支持向量机、基于核技巧和软间隔最大化的非线性支持向量机。三者复杂性是依次增加的。
1、基于...
分类：
其他好文 时间：
2016-03-26 07:16:56
阅读次数：
477
首次接触最优化算法。介绍几个最优化算法，并利用它们训练出一个非线性函数用于分类。 假设现在有一些数据点，我们利用一条直线对这些点进行拟合（该直线为最佳拟合直线），这个拟合过程称作回归。 利用Logistic回归进行分类思想：根据现有数据对分类边界线建立回归公式，以此进行分类。 这里的“回归”一词源于
分类：
其他好文 时间：
2016-02-05 18:53:25
阅读次数：
214
生活中，人们经常会遇到各种最优化问题，比如如何在最短时间从一个地点到另外一个地点？如何在投入最少的资金而却能得到最高的受益？如何设计一款芯片使其功耗最低而性能最好？这一节就要学习一种最优化算法——Logistic回归......
分类：
其他好文 时间：
2015-09-20 20:50:00
阅读次数：
790
Levenberg-Marquardt算法基础知识(2013-01-07 16:56:17)转载▼什么是最优化？Levenberg-Marquardt算法是最优化算法中的一种。最优化是寻找使得函数值最小的参数向量。它的应用领域非常广泛，如：经济学、管理优化、网络分析、最优设计、机械或电子设计等等。根...
分类：
编程语言 时间：
2015-08-10 19:40:23
阅读次数：
467
