这段时间有个卡尔曼滤波的作业，正好在刑波（Eric Xing）的概率图模型课程上也谈到了这一点，所以从这个角度来阐述卡尔曼滤波，同时介绍其中用到的条件高斯分布的推导过程。这一推导过程来自于《模式识别与机器学习》（PRML）。1. 条件高斯分布 本节要解决的问题是已知，，计算。 按照的划分方法，可以将...
分类：
其他好文 时间：
2015-05-19 22:30:17
阅读次数：
331
相关熵和交互信息 到目前为止，我们已经介绍了一些信息论的概念，包括熵的关键概念。我们现在开始这些想法到模式识别。考虑未知分布p（x），假设我们用近似分布q（x）为期建模。为了发送x的值到接收器，如果我们用q（x）来构造编码方案，那么指定x值所需的平均信息附加量（假设我们选择了一个高效的编码方案）由下式给出
这被称为分布p（x）和q（x）之间的相对熵或Kullback-Leibler散度或KL...
分类：
其他好文 时间：
2015-05-16 14:52:50
阅读次数：
243
模式识别领域主要关注的就是如何通过算法让计算机自动去发现数据中的规则,并利用这些规则来做一些有意义的事情,比如说,分类.以数字识别为例,我们可以根据笔画规则启发式教学去解决,但这样效果并不理想.我们一般的做法是: 1,统一尺寸; 2,简化色彩; 3,计算灰度平均值; 4,计算哈希值(生成指纹);当有...
分类：
其他好文 时间：
2015-05-15 19:29:11
阅读次数：
128
信息论 在本章中，我们讨论概率论和决策论的许多概念，他们是本书随后讨论的基础。我们通过引入一些信息论领域额外的概念来结束本章，这些概念也在模式识别和机器学习技术的发展中也是很有用的。再次，我们只关注关键的概念，并建议读者参考其他地方更详细的讨论（Viterbi和Omura，1979;Couver和Thomas，1991;MacKay，2003年）。
我们首先考虑一个离散型随机变量x并问当我们...
分类：
其他好文 时间：
2015-05-15 09:11:36
阅读次数：
282
推理和决策 我们已经将分类问题分成两个独立的阶段，推理阶段，我们使用训练数据来学习p（Ck| x）的模型，在随后的决策阶段，我们使用这些后验概率做出最优分类任务。另一种可能性是一起解决这两个问题，简单学习一个直接映射输入x到决策的函数。这样的函数被叫做判别函数。
事实上，我们可以找出三种不同的方法来解决决策问题，所有这些都被用于实际应用。
（a）首先对于每一个类Ck解决确定条件为类的密度p...
分类：
其他好文 时间：
2015-05-14 10:11:46
阅读次数：
219
最小化误分类率 假设我们的目标是尽可能降低错误分类。那么我们就需要一个给每个x值分配可用类的规则。这样的规则输入空间划分成区域Rk，称为决策区域，Rk中的所有点都被分配到类Ck。决定区域之间称为决策边界或决策表面。注意，每个决策区域不必是连续的，但由一些互斥的地区组成。我们将在后面的章节中遇到决策边界和决策区域的实例。为了找到最佳的决策规则，首先考虑两个类的所有情况，如癌症问题。当属于C1类的输入...
分类：
其他好文 时间：
2015-05-13 22:05:04
阅读次数：
297
决策论 我们已经在1.2节看到概率论如何为我们提供了对量化和操作不确定性的一个一致数学框架。这里，我们转向决策论的讨论，当它与概率论结合时，使得我们在涉及模式识别中遇到的不确定性情况下可以做出最优决策。
假设我们有一个输入向量x以及相应的目标向量t，我们的目标是给出x的新值来预测t。对于回归问题，t由连续变量组成，而对于分类问题，t代表类标签。联合概率分布p（x，t）提供了与这些变量相关的不...
分类：
其他好文 时间：
2015-05-12 15:51:06
阅读次数：
159
PRML学习笔记：三种线性分类器的matlab实现
分类：
其他好文 时间：
2015-05-04 17:20:53
阅读次数：
113
PRML学习笔记：机器学习概述，以及正态分布的相关结论
分类：
其他好文 时间：
2015-05-02 23:16:04
阅读次数：
228
