1，SVM算法的思考出发点 SVM算法是一种经典的分类方法。对于线性可分问题，找到那个分界面就万事大吉了。这个分界面可以有很多，怎么找呢？SVM是要找到最近点距离最远的那个分界面。有点绕，看下面的图就明白了 为了推导简单，我们先假设样本集是完全线性可分的，也就一个分界面能达到100%的正确率。 2， ...
分类：
编程语言 时间：
2017-05-26 00:55:50
阅读次数：
491
解决一个机器学习问题的一般套路是先构建一个目标函数，然后解决一个优化问题。目标函数通常由损失函数和正则项组成。常见的损失函数log-loss,square-loss,cross-entropy-loss等，常见的正则化方法有L1正则、L2正则等，常见的优化方法有梯度下降、随机梯度下降等。SVM也可以 ...
分类：
编程语言 时间：
2017-05-25 23:31:27
阅读次数：
263
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理 支持向量机原理(五)线性支持回归 在前四篇里面我们讲到了SVM的线性分类和非线性分类，以及在分类时用到的算法。这些都关注 ...
分类：
其他好文 时间：
2017-04-07 18:30:01
阅读次数：
278
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理 支持向量机原理(五)线性支持回归 在SVM的前三篇里，我们优化的目标函数最终都是一个关于αα向量的函数。而怎么极小化这个 ...
分类：
编程语言 时间：
2017-04-07 18:26:42
阅读次数：
262
SVM -支持向量机原理详解与实践之四 SVM原理分析 SMO算法分析 SMO即Sequential minmal optimization, 是最快的二次规划的优化算法，特使对线性SVM和稀疏数据性能更优。在正式介绍SMO算法之前，首先要了解坐标上升法。 坐标上升法(Coordinate asce ...
分类：
其他好文 时间：
2017-03-14 23:53:40
阅读次数：
262
转自http://blog.csdn.net/zouxy09/article/details/17292011 终于到SVM的实现部分了。那么神奇和有效的东西还得回归到实现才可以展示其强大的功力。SVM有效而且存在很高效的训练算法，这也是工业界非常青睐SVM的原因。 前面讲到，SVM的学习问题可以转 ...
分类：
编程语言 时间：
2017-03-13 11:28:14
阅读次数：
325
svm算法，说到底就是二次优化问题。 带有约束的二次优化问题。 1、线性优化问题，课件Leture5-QP 参考 https://www.coin-or.org/PuLP/CaseStudies/a_blending_problem.html python代码： # problemdef qp_te ...
分类：
编程语言 时间：
2017-03-07 12:54:58
阅读次数：
251
1. 前言 最近又重新复习了一遍支持向量机（SVM）。其实个人感觉SVM整体可以分成三个部分： 1. SVM理论本身：包括最大间隔超平面（Maximum Margin Classifier），拉格朗日对偶（Lagrange Duality），支持向量（Support Vector），核函数（Kern ...
分类：
编程语言 时间：
2017-02-26 19:12:41
阅读次数：
598
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理 支持向量机原理(五)线性支持回归(待填坑) 在SVM的前三篇里，我们优化的目标函数最终都是一个关于\alpha向量的函数 ...
分类：
编程语言 时间：
2016-11-29 07:26:26
阅读次数：
280
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理(待填坑) 支持向量机原理(五)线性支持回归(待填坑) 在前面两篇我们讲到了线性可分SVM的硬间隔最大化和软间隔最大化的算 ...
分类：
其他好文 时间：
2016-11-26 13:47:31
阅读次数：
363
