上一节讲线性SVM时，文末提到在线性可分的情况下，找到一个支持向量，可求得b 但是当出现下图实例时，无法找到一条线将实例分为两类，所谓线性不可分问题。 针对这种情况SVM提出了软间隔（soft margin），相对于硬间隔来说，简单将线性SVM看做硬间隔。 回顾硬间隔时优化目标： min $\fra ...
分类：
其他好文 时间：
2019-05-11 23:06:23
阅读次数：
186
在感知机一节中说到，我们在线性可分的情况下，寻找一个超平面使得 一部分实例$\sum_{i=1}^{n}w _{i}\cdot x_{i}>0$, 另一部分实例$\sum_{i=1}^{n}w _{i}\cdot x_{i}<0$ 但是感知机的解不唯一，所以会出现这样的情况 我们应该如何选择一个最佳 ...
分类：
其他好文 时间：
2019-05-09 22:00:48
阅读次数：
113
一、SVM目标和原理 svm分为线性可分和线性不可分两种 线性可分: svm.SVC(C=0.8, kernel='linear', class_weight={-1:1, 1:20}) 线性不可分: 使用径向基(高斯)核函数 svm.SVC(C=0.8, kernel='rbf', class_w ...
分类：
其他好文 时间：
2019-04-22 20:56:40
阅读次数：
168
稀疏表示与字典学习 当样本数据是一个稀疏矩阵时，对学习任务来说会有不少的好处，例如很多问题变得线性可分，储存更为高效等。这便是稀疏表示与字典学习的基本出发点。 稀疏矩阵即矩阵的每一行/列中都包含了大量的零元素，且这些零元素没有出现在同一行/列，对于一个给定的稠密矩阵，若我们能通过某种方法找到其合适的 ...
分类：
其他好文 时间：
2019-01-17 12:07:11
阅读次数：
479
线性可分支持向量机 给定线性可分的训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习到的分离超平面为 $$w^{\ast }x+b^{\ast }=0$$ 以及相应的决策函数 $$f\left( x\right) =sign\left(w^{\ast }x+b^{\ast } \righ ...
分类：
其他好文 时间：
2019-01-15 15:52:02
阅读次数：
301
面对复杂的非线性可分的样本是，使用浅层分类器如Logistic等需要对样本进行复杂的映射，使得样本在映射后的空间是线性可分的，但在原始空间，分类边界可能是复杂的曲线。比如下图的样本只是在2维情形下的示例，假设有100维度，即特征数目是100，若使用logistic来做分类，对于这种线性不可分的情形， ...
分类：
Web程序 时间：
2018-11-27 01:37:23
阅读次数：
198
支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括： 当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机； 当训练样本近似线性可分时，通 ...
分类：
其他好文 时间：
2018-11-16 22:33:53
阅读次数：
413
支持向量机（Support Vector Machines, SVM）:是一种监督学习算法。处理二分类 支持向量(Support Vector)就是离分隔超平面最近的那些点。 机(Machine)就是表示一种算法，而不是表示机器。 线性可分数据集：将数据集分隔开的直线称为分隔超平面。我们希望找到离分 ...
分类：
其他好文 时间：
2018-11-10 21:16:25
阅读次数：
174
CH02 感知机 前言 章节目录 导读 感知机是二类分类的线性分类模型。 $L(w,b)$的经验风险最小化 本章中涉及到向量内积，有超平面的概念，也有线性可分数据集的说明，在策略部分有说明损关于失函数的选择的考虑，可以和CH07一起看。 本章涉及的两个例子，思考一下为什么$\eta=1$，进而思考一 ...
分类：
其他好文 时间：
2018-11-10 19:07:08
阅读次数：
174
1. 前言 在前一篇 "1. 支持向量机（SVM）原理" 中，我们对线性可分SVM的模型和损失函数优化做了总结。但是大家有没发现，之前的文章介绍的支持向量机会无法处理一些情况，比如在有0，1两类，在0类的中间出现了几个1类的异常点，这样的话要之前最原始的SVM绝对分离两个类基本是不可能的了。本文对支 ...
分类：
其他好文 时间：
2018-11-10 10:54:42
阅读次数：
191
