上篇记录了一些决策树算法，这篇是借OC-SVM填回SMO在SVM中的数学推导这个坑。 参考文献： 这里回顾了SMO求解SVM的具体数学推导。同理SMO算法也可以用来求解OC-SVM，具体的求解的数学推导以后有空再写。 ...
分类：
其他好文 时间：
2016-04-27 20:37:57
阅读次数：
305
本文档尝试解答如下问题: 支持向量机 (SVM) 是一个类分类器，正式的定义是一个能够将不同类样本在样本空间分隔的超平面。 换句话说，给定一些标记(label)好的训练样本 (监督式学习), SVM算法输出一个最优化的分隔超平面。 如何来界定一个超平面是不是最优的呢? 考虑如下问题： Note 在这
分类：
其他好文 时间：
2016-03-18 16:03:38
阅读次数：
168
将所有的样本都选做landmarks 一种方法是将所有的training data都做为landmarks,这样就会有m个landmarks(m个trainnign data),这样features就是某个x(可以是trainning data/cross validation data/test
分类：
编程语言 时间：
2016-02-05 19:05:09
阅读次数：
272
建立smo.m% function [alpha,bias] = smo(X, y, C, tol)function model = smo(X, y, C, tol)% SMO: SMO algorithm for SVM%%Implementation of the Sequential Min...
分类：
编程语言 时间：
2015-11-25 15:02:35
阅读次数：
1332
1、SMO算法需要存储核矩阵吗？其他算法了？2、SVM处理海量数据的困难在哪？3、SVM对偶问题得到的凸二次规划问题求解可以使用梯度下降、拟牛顿法等方法吗？ 参考博客的说法：不论是向量维度大或者是样本量很大的时候，求解这个优化问题难度都不小，于是在解得稀疏性(比如只需要得到支持向量)、目标函数的凸....
分类：
其他好文 时间：
2015-09-04 19:46:17
阅读次数：
137
作为(曾)被认为两大最好的监督分类算法之一的adaboost元算法(另一个为前几节介绍过的SVM算法)，该算法以其简单的思想解决复杂的分类问题，可谓是一种简单而强大的算法，本节主要简单介绍adaboost元算法，并以实例看看其效果如何。该算法简单在于adaboost算法不需要什么高深的思想，它的基础就是一个个弱小的元结构（弱分类器），比如就是给一个阈值，大于阈值的一类，小于阈值的一类，这样的最简单的...
分类：
编程语言 时间：
2015-08-21 19:31:38
阅读次数：
568
写在之前 支持向量机（SVM），一个神秘而众知的名字，在其出来就受到了莫大的追捧，号称最优秀的分类算法之一，以其简单的理论构造了复杂的算法，又以其简单的用法实现了复杂的问题，不得不说确实完美。
本系列旨在以基础化的过程，实例化的形式一探SVM的究竟。曾经也只用过集成化的SVM软件包，效果确实好。因为众人皆说原理复杂就对其原理却没怎么研究，最近经过一段时间的研究感觉其原理还是可以理解，这...
分类：
其他好文 时间：
2015-08-17 19:33:39
阅读次数：
1322
python中的sklean已经集成SVM算法，其中包含fit(), predict()等，我们只要输入训练样本和标记，以及模型参数，就可得到分类的结果。
关于这个的代码实现已有很多，SVC 参数详见：
详址：http://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC
但对于libsvm之中实现的隶属度计算仍未找到相似讲解与示例，先给出源码如下。...
分类：
编程语言 时间：
2015-08-13 15:53:09
阅读次数：
160
关于这部分主要是想在python下试验一下主成分分析（PCA）算法以及简单的人脸识别。曾经详述过matlab下的PCA以及SVM算法进行人脸识别技术，参考如下：主成分分析法-简单人脸识别（一）主成分分析-简单人脸识别（二）PCA实验人脸库-人脸识别（四）PCA+支持向量机-人脸识别（五）主成分分析（PCA）算法主要是对高维数据进行降维，最大限度的找到数据间的相互关系，在机器学习、数据挖掘上很有用。在...
分类：
编程语言 时间：
2015-07-25 20:00:11
阅读次数：
147
SMO（序列最小优化）引子：坐标上升法目标为：坐标上升算法：即每次只变化一个维度，取得该维度的最优值。例图：参数收敛的方向都是平行于坐标轴的。SMO算法：由于我们要解决的问题中有一个约束是：所以不可能只变化其中一个变量，因此需要选择两个变量来进行变化（其中一个变量可以由另外一个变量根据上式获得）。α...
分类：
其他好文 时间：
2015-07-08 16:20:01
阅读次数：
228
