一、二次假设 实际上线性假设的模型复杂度是受到限制的， 需要高次假设打破这个限制。 假设数据不是线性可分的，但是可以被一个圆心在原点的圆分开， 需要我们重新设计基于该圆的PLA等算法吗？ 不用， 只需要通过非线性转换将X域圆形可分变为Z域线性可分！ 通用的二次假设集 二、非线性转换 好的二次假设 非 ...
分类：
其他好文 时间：
2017-10-08 19:40:12
阅读次数：
208
目录 1. 简单描述SVM（线性可分SVM的求解） 2. 线性SVM 3. 非线性SVM 1. 简单描述SVM SVM是一个分类算法，通过寻找一个分离超平面，将正负样本分开，并且正负样本到超平面的间隔最大。分离超平面可以用y = wx + b来描述，样本到超平面的相对距离可以用函数间隔r = | w ...
分类：
其他好文 时间：
2017-10-02 00:19:57
阅读次数：
262
支持向量机（Support Vector Machine，SVM）的基本模型是定义在特征空间上间隔最大的线性分类器。它是一种二类分类模型，当采用了核技巧之后，支持向量机可以用于非线性分类。 1）线性可分支持向量机（也称硬间隔支持向量机）：当训练数据线性可分是，通过硬间隔最大化，学得一个线性可分支持向 ...
分类：
编程语言 时间：
2017-09-19 20:20:01
阅读次数：
334
支持向量机是一种分类模型。模型认为，离分类超平面越远的点，判定结果越准确，所以模型的训练目标就是让离分类超平面最近的样本点距离最大。我们先从最基本的线性可分支持向量机（硬间隔支持向量机）开始推导，之后再推广到可以容纳一定误分类点的线性支持向量机（软间隔支持向量机），最后介绍核函数与 SMO 算法。 ...
分类：
其他好文 时间：
2017-09-10 17:37:09
阅读次数：
184
一.感知机概述 感知机适用于：线性可分的数据，用于二分类 目的：找到分离超平面，完全分离不同的类 感知机公式：，一元多维的函数 感知机学习策略：通过求min(所有误分类点到超平面距离)，即损失函数，来确定权重和偏置 求解方法：梯度下降法 求解步骤：1.初始化权重和偏置 2.任选点（x,y） 3.若y ...
分类：
其他好文 时间：
2017-09-05 10:04:50
阅读次数：
153
最大间隔超平面 线性分类器回顾 当数据是线性可分的时候，PLA算法可以帮助我们找到能够正确划分数据的超平面hyperplane，如图所示的那条线。 哪一条线是最好的？ 对于PLA算法来说，最终得到哪一条线是不一定的，取决于算法scan数据的过程。 从VC bound的角度来说，上述三条线的复杂度是一 ...
分类：
其他好文 时间：
2017-08-13 23:21:35
阅读次数：
284
我来举一个核函数把低维空间映射到高维空间的例子。 下面这张图位于第一、二象限内。我们关注红色的门，以及“北京四合院”这几个字下面的紫色的字母。我们把红色的门上的点看成是“+”数据，紫色字母上的点看成是“-”数据，它们的横、纵坐标是两个特征。显然，在这个二维空间内，“+”“-”两类数据不是线性可分的。 ...
分类：
其他好文 时间：
2017-07-26 11:40:43
阅读次数：
151
感知机 （一）概念 1，定义： （二），学习策略 1，线性可分 ：存在一个超平面将正实例和负实例划分开来，反之不可分 2，学习策略：寻找极小损失函数，通过计算误分点到超平面的距离 3，学习算法 即求解损失函数最优化的算法，借用随机梯度下降法 3.1 原始形式 学习率也叫步长（0,1] 例题： 特点： ...
分类：
其他好文 时间：
2017-07-01 01:10:54
阅读次数：
277
全称 perceptron learning algrithm 用武之地 二值分类问题，资料线性可分 算法核心（以二维平面为例） 找到一条直线wTx=0，一边全为+1，另一边全为-1。找到了这条线（即，向量w）就得到了分类器。 如何找到这条线？ 每次选取分类出错的样本点，迭代执行：wt+1T=wtT ...
分类：
编程语言 时间：
2017-06-30 19:52:30
阅读次数：
190
不懂优化的人希望能有通用的方法来解决他手头的问题。但不幸的事没有这样的方法存在。高速的方法都须要某些条件，比方常见的有强凸。线性，可分解啥的。眼下研究的比較成熟的就是强凸光源可分解 非凸没有特别有效的方法来解。假设是强凸的，何必用那么复杂的方法求最优解？正是由于不是强凸的，才用到优化方法。就算是凸的 ...
分类：
编程语言 时间：
2017-06-18 21:48:57
阅读次数：
140
