一、SVM目标和原理 svm分为线性可分和线性不可分两种 线性可分: svm.SVC(C=0.8, kernel='linear', class_weight={-1:1, 1:20}) 线性不可分: 使用径向基(高斯)核函数 svm.SVC(C=0.8, kernel='rbf', class_w ...
分类：
其他好文 时间：
2019-04-22 20:56:40
阅读次数：
168
面对复杂的非线性可分的样本是，使用浅层分类器如Logistic等需要对样本进行复杂的映射，使得样本在映射后的空间是线性可分的，但在原始空间，分类边界可能是复杂的曲线。比如下图的样本只是在2维情形下的示例，假设有100维度，即特征数目是100，若使用logistic来做分类，对于这种线性不可分的情形， ...
分类：
Web程序 时间：
2018-11-27 01:37:23
阅读次数：
198
BP神经网络是包含多个隐含层的网络，具备处理线性不可分问题的能力。以往主要是没有适合多层神经网络的学习算法，，所以神经网络的研究一直处于低迷期。 20世纪80年代中期，Rumelhart，McClelland等成立了Parallel Distributed Procession（PDP）小组，提出了 ...
分类：
其他好文 时间：
2018-11-13 00:16:29
阅读次数：
310
感知机： 1.感知机关键在于损失函数最小化 2.当初值和分类点选择顺序不同时，算得的结果不同。 3.当线性不可分时，感知机算法不收敛，迭代结果震荡。 4.感知机和随机梯度下降。 5.pocket algorithm 口袋算法：每次梯度下降时和“口袋”比较，将损失更小的放到“口袋”里。 6.voted ...
分类：
其他好文 时间：
2018-11-09 16:12:10
阅读次数：
169
机器学习的一些基本概念，模型、目标函数、优化算法等等，这些概念对于机器学习算法来说都是通用的套路。 线性单元 当我们面对的数据不是线性可分的时候，感知器规则就无法收敛，为了解决这个问题，我们使用一个可导的线性函数来替代感知器的阶跃函数，这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集的时候 ...
分类：
其他好文 时间：
2018-10-14 14:14:36
阅读次数：
211
本文结构： 1. 什么是线性单元 线性单元和感知器的区别就是在激活函数： 感知器的f是阶跃函数： 线性单元的激活函数是线性的： 所以线性模型的公式如下： 2. 有什么用 感知器存在一个问题，就是遇到线性不可分的数据时，就可能无法收敛，所以要使用一个可导的线性函数来替代阶跃函数，即线性单元，这样就会收 ...
分类：
其他好文 时间：
2018-10-09 12:20:13
阅读次数：
131
本文结构： 什么是线性单元 有什么用 代码实现 1. 什么是线性单元 线性单元和感知器的区别就是在激活函数： 感知器的 f 是阶越函数： 线性单元的激活函数是线性的： 所以线性模型的公式如下： 2. 有什么用 感知器存在一个问题，就是遇到线性不可分的数据时，就可能无法收敛，所以要使用一个可导的线性函 ...
分类：
其他好文 时间：
2018-09-30 16:43:07
阅读次数：
197
通过支持向量机，我们可以发现 支持向量机能很好的将两个线性可分的样本分开 那么对于不是线性可分的样本，我们就要通过核函数去处理他了 也就是说，核函数的做用就是将线性不可分的样本，通过核函数印射到另外一个空间中 是样本变成线性可分的 那么常用的核函数有两种 一种是线性核函数 也就是直接x‘ = w * ...
分类：
其他好文 时间：
2018-08-31 21:24:26
阅读次数：
226
不同时期的你去看红楼梦会有不一样的感触，而不同年份的我看ML也会有更深入的理解(*/ω＼*) svm是 一种判别方法 有监督的学习模型 通常用来进行模式识别、分类以及回归分析，主要解决二分类问题。其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去。 所以，我们先从最简单 ...
分类：
系统相关 时间：
2018-08-22 20:36:55
阅读次数：
277
一、基础理解 Hard Margin SVM 和 Soft Margin SVM 都是解决线性分类问题，无论是线性可分的问题，还是线性不可分的问题； 和 kNN 算法一样，使用 SVM 算法前，要对数据做标准化处理； 原因：SVM 算法中设计到计算 Margin 距离，如果数据点在不同的维度上的量纲 ...
分类：
其他好文 时间：
2018-08-12 21:30:47
阅读次数：
7404
