上一讲说到，各个特征（各个分量）对分类来说，其重要性当然是不同的。
舍去不重要的分量，这就是降维。
聚类变换认为：重要的分量就是能让变换后类内距离小的分量。
类内距离小，意味着抱团抱得紧。
但是，抱团抱得紧，真的就一定容易分类么？
如图1所示，根据聚类变换的原则，我们要留下方差小的分量，把方差大（波动大）的分量丢掉，所以两个椭圆都要向y轴投影，这样悲剧了，两个重叠在一起，根本...
分类：
其他好文 时间：
2014-05-11 20:17:34
阅读次数：
313
一、核函数的引入
问题1：
SVM显然是线性分类器，但数据如果根本就线性不可分怎么办？
解决方案1：
数据在原始空间（称为输入空间）线性不可分，但是映射到高维空间（称为特征空间）后很可能就线性可分了。
问题2：
映射到高维空间同时带来一个问题：在高维空间上求解一个带约束的优化问题显然比在低维空间上计算量要大得多，这就是所谓的“维数灾难”。
解决方案2：
于是就引入了“核...
分类：
其他好文 时间：
2014-05-11 04:12:21
阅读次数：
443
一、实验目的和要求 目的：
了解线性分类器，对分类器的参数做一定的了解，理解参数设置对算法的影响。要求： 1. 产生两类样本2. 采用线性分类器生成出两类样本的分类面3.
对比线性分类器的性能，对比参数设置的结果二、实验环境、内容和方法 环境：windows 7，matlab R2010a内容：通过...
分类：
其他好文 时间：
2014-05-10 02:54:04
阅读次数：
599
实验名称：贝叶斯分类器一、实验目的和要求 目的：掌握利用贝叶斯公式进行设计分类器的方法。
要求：分别做出协方差相同和不同两种情况下的判别分类边界。 二、实验环境、内容和方法环境：windows 7，matlab R2010a
内容：根据贝叶斯公式，给出在类条件概率密度为正态分布时具体的判别函数表达式...
分类：
其他好文 时间：
2014-05-10 02:50:11
阅读次数：
518
背景&目标：
1、sport.tar 是体育类的文章，一共有10个类别；
用这些原始材料构造一个体育类的文本分类器，并测试对比bayes和cbayes的效果；
记录分类器的构造过程和测试结果。
2、user-sport.tar 是用户浏览的文章，每个文件夹对应一个用户；
利用上题构造的文本分类器，计算每个用户浏览各类文章的占比；
记录计算过程和结果。...
分类：
其他好文 时间：
2014-05-09 14:03:40
阅读次数：
408
在之前为了寻找最有分类器，我们提出了如下优化问题：
在这里我们可以把约束条件改写成如下：
首先我们看下面的图示：
很显然我们可以看出实线是最大间隔超平面，假设×号的是正例，圆圈的是负例。在虚线上的点和在实线上面的两个一共这三个点称作支持向量。现在我们结合KKT条件分析下这个图。
我们从式子和式子可以看出如果那么，
这个也就说明时，w处于可行域的边界上，这时才是起作用的约束...
分类：
其他好文 时间：
2014-05-09 02:33:02
阅读次数：
345
学习理论——VC维的定义以及一些例子
本文主要介绍一些学习理论上的东西。首先，我们得明确，从训练集上学习出来的分类器的最终目标是用于预测未知的样本，那么我们在训练的时候该用多少的样本才能使产生的分类器的效果尽可能的好呢？这些就是VC-理论要解决的问题。在介绍这个理论之前，我们得先介绍一个比较抽象的概...
分类：
其他好文 时间：
2014-05-06 00:41:46
阅读次数：
536
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景
支持向量机SVM（support vector machines）。SVM是一种二值分类器，是近些年比较流行的一种分类算法。
本文，首先要介绍一些基本的知识概念，在下一章将对SVM进行简单地代码实现。
2.基本概念
（1）线性可分...
分类：
编程语言 时间：
2014-05-01 17:48:01
阅读次数：
374
1.算法简介
朴素贝叶斯（Naive Bayes）是无监督学习的一种常用算法，易于实现，没有迭代，并有坚实的数学理论（即贝叶斯定理）作为支撑。
本文以拼写检查作为例子，讲解Naive Bayes分类器是如何实现的。对于用户输入的一个单词（words），拼写检查试图推断出最有可能的那个正确单词（correct）。当然，输入的单词有可能本身就是正确的。比如，输入的单词thew，用户...
分类：
其他好文 时间：
2014-04-29 13:38:20
阅读次数：
476
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景
以前我在外面公司实习的时候，一个大神跟我说过，学计算机就是要一个一个贝叶斯公式的套用来套用去。嗯，现在终于用到了。朴素贝叶斯分类器据说是好多扫黄软件使用的算法，贝叶斯公式也比较简单，大学做概率题经常会用到。核心思想就是找出特征值对结果影响概率最大的项。公式如下：...
分类：
编程语言 时间：
2014-04-29 13:15:21
阅读次数：
297
