一、简介 Fisher分类器用于解决二类线性可分问题。 Fisher准则基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。 例如上图中：通过将方块点和圆点向w1投影，然后再在设置合适的阈值即可将方块和圆点分离。 二、源代码 ...
分类：
其他好文 时间：
2021-06-28 20:33:06
阅读次数：
0
支持向量机简述 算法思路：先研究在线性可分训练样本集上如何画出一条直线来分开，然后推广到非线性可分的问题上 如果存在一条直线可以分开圆圈和叉，那么在空间中一定存在着无数条直线可以分开圆圈和叉，那一条直线是最好的？ 上图中，相比之下，2号线对于误差的容忍程度更多一些 将分界线平行的向两侧移动，直到接触 ...
分类：
其他好文 时间：
2020-10-18 09:44:58
阅读次数：
11
1. 感知机原理 感知机是二分类的线性分类模型，本质上想找到一条直线或者分离超平面对数据进行线性划分 适用于线性可分的数据集，否则感知机不会收敛 假设有一个数据集$D = {(x_1, y_1), (x_2, y_2), ..., (x_N, y_N)}$，其中$x_i \in Rn$，即$x_i ...
分类：
其他好文 时间：
2020-07-21 23:19:19
阅读次数：
126
机器学习中讲解SVM： 1.我们下面讨论hard margin应间隔(线性可分的情况也就是可以把两类点完全区分出来)： 鞍点公式证明： 我们原来的求解问题可以转化成下面的式子： 把两个式子代入到拉格朗日公式中 根据强KKT条件 2.soft margin软间隔讨论： ...
分类：
其他好文 时间：
2020-05-15 11:30:23
阅读次数：
58
机器学习基础：SVM算法总结 CONTENTS "1. 函数间隔与几何间隔" "2. 支持向量" "3. 目标函数与优化" "4. 线性可分SVM算法过程" "5. sklearn SVM算法使用总结" 1. 函数间隔与几何间隔 在分离超平面固定为$w^Tx+b=0$的时候，$|w^Tx+b|$表示 ...
分类：
编程语言 时间：
2020-05-01 17:07:29
阅读次数：
80
1 简介 线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，因为这时上述方法中的不等式约束并不能都成立。 怎么才能将它扩展到线性不可分问题呢?这就需要修改硬间隔最大化，使其成为软间隔最大化。 2 模型 2.1 相关条件 2.2 模型 3 学习策略 4 算法 对偶形式 5 概念扩展 5 ...
分类：
其他好文 时间：
2020-04-29 14:58:07
阅读次数：
56
1 简介 支持向量机(support vector machines> SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机;支持 向量机还包括核技巧，这使它成为实质卜的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规 ...
分类：
其他好文 时间：
2020-04-29 12:49:37
阅读次数：
142
深度神经网络(DNN，Deep Neural Networks)简介 首先让我们先回想起在之前博客（ "数据挖掘入门系列教程（七点五）之神经网络介绍" ）中介绍的神经网络：为了解决M P模型中无法处理XOR等简单的非线性可分的问题时，我们提出了多层感知机，在输入层和输出层中间添加一层隐含层，这样该网 ...
分类：
其他好文 时间：
2020-04-28 00:28:05
阅读次数：
52
1.感知机感知机是一种二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别{+1，-1}。感知机要求数据集是线性可分的。按照统计学习三要素模型、策略、算法的顺序来介绍。 2.感知机模型由输入空间到输出空间的如下函数：f(x)=sign(ω?x+b)f(x)=sign(ω?x+b) 其中ω，b ...
分类：
其他好文 时间：
2020-03-07 20:43:57
阅读次数：
81
算法特征:①. 所有点正确分开; ②. 极大化margin; ③. 极小化非线性可分之误差. 算法推导:Part Ⅰ线性可分之含义:包含同类型所有数据点的最小凸集合彼此不存在交集.引入光滑化手段:plus function: \begin{equation*}(x)_{+} = max \{ x, ...
分类：
编程语言 时间：
2020-03-05 13:30:27
阅读次数：
123
