启发式算法（heuristic algorithm)是相对于最优化算法提出的。一个问题的最优算法求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被.....
分类：
编程语言 时间：
2015-07-22 09:20:36
阅读次数：
187
已经花了好多时间看支持向量机了，就是一直没开始写，网再渣，我也要开始总结了 支持向量机(SVM) 一种二类分类模型。基本模型是定义在特征空间上的间隔最大的线性分类器，学习策略就是间隔最大化，最终是求解凸二次规划的最优化算法。 包含线性可分支持向量机、线性支持向量机、非线性支持向量机。...
分类：
其他好文 时间：
2015-06-23 20:01:48
阅读次数：
215
梯度下降法[编辑] （重定向自最速下降法） 梯度下降法是一个最优化算法，通常也称为最速下降法。
分类：
其他好文 时间：
2015-04-20 22:22:50
阅读次数：
211
什么叫做回归呢？举个例子，我们现在有一些数据点，然后我们打算用一条直线来对这些点进行拟合（该曲线称为最佳拟合曲线），这个拟合过程就被称为回归。利用Logistic回归进行分类的主要思想是：
根据现有数据对分类边界线建立回归公式，以此进行分类。
这里的”回归“一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的嘴阀就是寻找最佳拟合曲线，使用的是最优化算法。基于Logistic回归和Sigmo...
分类：
其他好文 时间：
2015-04-18 17:48:11
阅读次数：
171
SVM有一个核心函数SMO，也就是序列最小最优化算法。SMO基本是最快的二次规划优化算法，其核心就是找到最优参数α，计算超平面后进行分类。SMO方法可以将大优化问题分解为多个小优化问题求解，大大简化求解过程。某些条件下，把原始的约束问题通过拉格朗日函数转化为无约束问题，如果原始问题求解棘手，在满足K...
分类：
其他好文 时间：
2015-04-16 21:46:47
阅读次数：
133
牛顿法
使用条件：目标函数具有二阶导数，且海塞矩阵正定。
优缺点： 收敛速度快、计算量大、很依赖初始点的选择。
算法的基本步骤：
由上面的步骤可得基本的算法流程图：...
分类：
编程语言 时间：
2015-02-09 12:51:12
阅读次数：
555
前言 本文将介绍机器学习分类算法中的Logistic回归分类算法并给出伪代码，Python代码实现。 (说明：从本文开始，将接触到最优化算法相关的学习。旨在将这些最优化的算法用于训练出一个非线性的函数，以用于分类。)算法原理 首先要提到的概念是回归。 对于回归这个概念，在以后的文章会有系...
分类：
编程语言 时间：
2014-12-30 13:29:14
阅读次数：
615
