八、核（kernel）
如果样本点为线性不可分，那么，需要将数据映射到高维空间，使在原始空间内其线性可分变为线性可分。如下图所示：
上文提到，分类器可以写成：
}+b" alt="">
那么，如果使用一种映射的方法，将低维数据映射到高维（），使得线性不可分变为线性可分。称为特征映射函数，这样，分类器就变为：
}+b" alt="">
(1)实例
低维映射到高维能否...
分类：
其他好文 时间：
2014-11-10 13:55:52
阅读次数：
421
一、线性分类器：首先给出一个非常非常简单的分类问题（线性可分），我们要用一条直线，将下图中黑色的点和白色的点分开，很显然，图上的这条直线就是我们要求的直线之一（可以有无数条这样的直线） 假如说，我们令黑色的点 = -1， 白色的点 = +1，直线f(x) = w.x + b，这儿的x、w是向量，其实...
分类：
其他好文 时间：
2014-10-24 18:26:50
阅读次数：
265
下面这张图位于第一、二象限内。我们关注红色的门，以及“北京四合院”这几个字下面的紫色的字母。我们把红色的门上的点看成是“+”数据，紫色字母上的点看成是“-”数据，它们的横、纵坐标是两个特征。显然，在这个二维空间内，“+”“-”两类数据不是线性可分的。我们现在考虑核函数，即“内积平方”。这里面是二维空...
分类：
其他好文 时间：
2014-10-19 21:24:52
阅读次数：
263
要解决的问题是，给出了具有2个特征的一堆训练数据集，从该数据的分布可以看出它们并不是非常线性可分的，因此很有必要用更高阶的特征来模拟。例如本程序中个就用到了特征值的6次方来求解。DataTo begin, load the files 'ex5Logx.dat' and ex5Logy.dat' i...
分类：
其他好文 时间：
2014-09-13 11:50:55
阅读次数：
226
1，Exclusive OR（XOR）Booleanfunction问题
布尔量AND和OR是线性可分的
2，两层感知器
对Figure4.1中A类和B类，首先能想到的是画两条直线。如图Figure4.4.
① 两层感知器的分类能力
3，三层感知器
4，基于训练集精确分类的算法...
分类：
其他好文 时间：
2014-07-18 12:35:59
阅读次数：
281
一、我们先回顾下SVM问题。
A、线性可分问题
1、SVM基本原理：
SVM使用一种非线性映射，把原训练 数据映射到较高的维。在新的维上，搜索最佳分离超平面，两个类的数据总可以被超平面分开。
2、问题的提出：
3、如何选取最优的划分直线f(x)呢？
4、求解：凸二次规划
建立拉格朗日函数：
求偏导数：
...
分类：
其他好文 时间：
2014-05-22 17:10:54
阅读次数：
475
SVM(Support Vector Machine)，中文名为 支持向量机，就像自动机一样，听起来异常神气，最初总是纠结于不是机器怎么能叫“机”,后来才知道其实此处的“机”实际上是算法的意思。
支持向量机一般用于分类，基本上，在我的理解范围内，所有的机器学习问题都是分类问题。而据说，SVM是效果最好而成本最低的分类算法。
SVM是从线性可分的情况下最优分类面发展而来的，其基本思想可以用下图表...
分类：
其他好文 时间：
2014-05-18 10:17:23
阅读次数：
309
一、核函数的引入
问题1：
SVM显然是线性分类器，但数据如果根本就线性不可分怎么办？
解决方案1：
数据在原始空间（称为输入空间）线性不可分，但是映射到高维空间（称为特征空间）后很可能就线性可分了。
问题2：
映射到高维空间同时带来一个问题：在高维空间上求解一个带约束的优化问题显然比在低维空间上计算量要大得多，这就是所谓的“维数灾难”。
解决方案2：
于是就引入了“核...
分类：
其他好文 时间：
2014-05-11 04:12:21
阅读次数：
443
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景知识
前面我们提到的数据集都是线性可分的，这样我们可以用SMO等方法找到支持向量的集合。然而当我们遇到线性不可分的数据集时候，是不是svm就不起作用了呢？这里用到了一种方法叫做核函数，它将低维度的数据转换成高纬度的从而实现线性可分。
可能有的人不明白为什么低维度的数据集转换成高...
分类：
编程语言 时间：
2014-05-07 03:39:44
阅读次数：
455
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景
支持向量机SVM（support vector machines）。SVM是一种二值分类器，是近些年比较流行的一种分类算法。
本文，首先要介绍一些基本的知识概念，在下一章将对SVM进行简单地代码实现。
2.基本概念
（1）线性可分...
分类：
编程语言 时间：
2014-05-01 17:48:01
阅读次数：
374
