传统的cnn过滤器是一个泛化的线性模型（GLM），我们认为这GLM的抽象能力是低级别的。把GLM替换为一个更有效的非线性函数近似能够提高抽象能力。当例子是线性可分时，GLM能实现很好的抽象。然而例子很多情况下是线性不可分的，输入的线性函数才能很好地表达。此网络没有采用传统的全连接层，而是采用全局平均 ...
分类：
Web程序 时间：
2017-04-12 18:27:57
阅读次数：
218
一、核函数的引入 问题1： SVM显然是线性分类器。但数据假设根本就线性不可分怎么办？ 解决方式1： 数据在原始空间（称为输入空间）线性不可分。可是映射到高维空间（称为特征空间）后非常可能就线性可分了。 问题2： 映射到高维空间同一时候带来一个问题：在高维空间上求解一个带约束的优化问题显然比在低维空 ...
分类：
其他好文 时间：
2017-04-12 12:34:24
阅读次数：
395
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理 支持向量机原理(五)线性支持回归 在前四篇里面我们讲到了SVM的线性分类和非线性分类，以及在分类时用到的算法。这些都关注 ...
分类：
其他好文 时间：
2017-04-07 18:30:01
阅读次数：
278
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理 支持向量机原理(五)线性支持回归 在SVM的前三篇里，我们优化的目标函数最终都是一个关于αα向量的函数。而怎么极小化这个 ...
分类：
编程语言 时间：
2017-04-07 18:26:42
阅读次数：
262
之前分为两部分讨论过SVM。第一部分讨论了线性SVM，并且针对线性不可分的数据，把原始的问题转化为对偶的SVM求解。http://www.cnblogs.com/futurehau/p/6143178.html 然后考虑到特征数量特别特别多的时候，引入核函数的求解。http://www.cnblog ...
分类：
其他好文 时间：
2016-12-12 23:35:10
阅读次数：
201
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理 支持向量机原理(五)线性支持回归(待填坑) 在SVM的前三篇里，我们优化的目标函数最终都是一个关于\alpha向量的函数 ...
分类：
编程语言 时间：
2016-11-29 07:26:26
阅读次数：
280
对于线性不可分的数据集，可以利用核函数（kernel）将数据转换成易于分类器理解的形式。 如下图，如果在x轴和y轴构成的坐标系中插入直线进行分类的话， 不能得到理想的结果，或许我们可以对圆中的数据进行某种形式的转换，从而得到某些新的变量来表示数据。在这种表示情况下，我们就更容易得到大于0或者小于0的 ...
分类：
其他好文 时间：
2016-11-27 22:35:48
阅读次数：
322
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理(待填坑) 支持向量机原理(五)线性支持回归(待填坑) 在前面两篇我们讲到了线性可分SVM的硬间隔最大化和软间隔最大化的算 ...
分类：
其他好文 时间：
2016-11-26 13:47:31
阅读次数：
363
SVM(Support Vector Machine)有监督的机器学习方法，可以做分类也可以做回归。有好几个模型，SVM基本，SVM对偶型，软间隔SVM，核方法，前两个有理论价值，后两个有实践价值。下图来自龙老师整理课件。 基本概念 线性SVM，线性可分的分类问题场景下的SVM。硬间隔。 线性不可分 ...
分类：
其他好文 时间：
2016-10-01 22:03:39
阅读次数：
228
接上篇：卷积神经网络对图片分类-中 9 ReLU(Rectified Linear Units) Layers 在每个卷积层之后，会马上进入一个激励层，调用一种激励函数来加入非线性因素，决绝线性不可分的问题。这里我们选择的激励函数方式叫做ReLU, 他的方程是这样f(x) = max(0, x)，就 ...
分类：
其他好文 时间：
2016-09-13 16:06:49
阅读次数：
220
