维数灾难给定如下分类问题：其中x6和x7表示横轴和竖轴（即两个measurements），怎么分？方法一（simple）：把整个图分成；16个格，当给定一个新的点的时候，就数他所在的格子中，哪种颜色的点最多，最多的点就是最有可能的。如图：显然，这种方法是有缺陷的：例子给出的是2维的，那么3维的话，就...
分类：
其他好文 时间：
2015-07-08 20:30:01
阅读次数：
120
看这篇文章的前提：已经看了PRML中的Adaboost的算法流程看懂下面的内容必须牢牢记住：Adaboost使用的误差函数是指数误差文章主要目的：理解样本抽样的权值是为什么那样变化的。得出的结论：训练第m个基分类器ym时，样本n的抽样权重是fm-1在样本n上的指数误差 当ym将第n个样本...
分类：
其他好文 时间：
2015-07-06 01:20:02
阅读次数：
203
PRML学习笔记：特征值分解、奇异值分解与 PCA
分类：
其他好文 时间：
2015-06-17 13:08:27
阅读次数：
217
在训练集上有个好的效果不见得在测试集中效果就好，因为可能存在过拟合(over-fitting)的问题。如果训练集的数据质量很好，那我们只需对这些有效数据训练处一堆模型，或者对一个模型给定系列的参数值，然后再根据测试集进行验证，选择效果最好的即可；大多数情况下，数据集大小是有限的或质量不高，那么需要有...
分类：
其他好文 时间：
2015-06-16 16:33:09
阅读次数：
210
Example: Polynomial Curve Fitting The goal of regression is to predict the value of one or more continuous target variables t given the value of a D-d...
分类：
其他好文 时间：
2015-06-06 23:27:37
阅读次数：
369
一个例子: 两个盒子: 一个红色:2个苹果,6个橘子; 一个蓝色:3个苹果,1个橘子; 如下图: 现在假设随机选取1个盒子,从中.取一个水果,观察它是属于哪一种水果之后,我们把它从原来的盒子中替换掉.重复多次. 假设我们40%的概率选到红盒子,60%的概率选到蓝盒子.并且当我们把取出的水果拿掉时,选...
分类：
其他好文 时间：
2015-06-05 13:55:50
阅读次数：
205
模式识别关注在数据中自动发现信息并采取行动，例如数据分类。例子：手写识别。使用规则等方法将导致复杂的规则和例外情况。使用机器学习方法，利用训练集自动调整参数。目标模式是已知的数字0-9，成为目标向量t。模式识别的推广能力是一个中心目标！预处理：又称为特征提取。输入数据大多数需要预处理，是模式识别更加...
分类：
其他好文 时间：
2015-06-03 22:58:51
阅读次数：
151
书中给出了一个典型的曲线拟合的例子,给定一定量的x以及对应的t值,要你判断新的x对应的t值多少.任务就是要我们去发现潜在的曲线方程:sin(2πx)这时就需要概率论的帮忙,对于这种不确定给t赋何值的情况,它可以通过一种精确和量化的方式来提供一种框架,而对于决策理论,为了根据适当的度量方式来获取最优的...
分类：
其他好文 时间：
2015-05-20 20:08:50
阅读次数：
136
