两个随机变量的独立性表示两个变量X与Y是否有关系（贝叶斯可证），但是关系的强弱(mutual dependence)是无法表示的，为此我们引入了互信息。 其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。 在连续随机变量的情形下，求和 ...
分类：
其他好文 时间：
2018-09-22 00:58:02
阅读次数：
587
1. 有哪些生成式模型，有哪些判决式模型？ 判别式模型与生成式模型的区别 产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于： 对于输入x，类别标签y：产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概 ...
分类：
编程语言 时间：
2018-09-21 12:27:42
阅读次数：
209
13张动图助你彻底看懂马尔科夫链、PCA和条件概率！ https://mp.weixin.qq.com/s/ll2EX_Vyl6HA4qX07NyJbA [ 导读 ] 马尔科夫链、主成分分析以及条件概率等概念，是计算机学生必学的知识点，然而理论的抽象性往往让学生很难深入地去体会和理解。而本文，将这些 ...
分类：
其他好文 时间：
2018-09-17 13:31:29
阅读次数：
182
指数哥伦布编码与哈夫曼编码一样都属于变长编码 但二者也有显著的区别： 1>信源相关性： 哈夫曼编码依赖于信源的概率分布，而指数哥伦布编码与信源无关 2>额外信息： 哈夫曼编码必须携带与该信源匹配的码表，指数哥伦布编码无需携带额外信息 h264官方协议文档中定义了4类指数哥伦布编码分为： ue(v)无 ...
分类：
其他好文 时间：
2018-09-17 13:29:00
阅读次数：
283
引言 本文主要是对分类型决策树的一个总结。在分类问题中，决策树可以被看做是if-then规则的结合，也可以认为是在特定特征空间与类空间上的条件概率分布。决策树学习主要分为三个步骤：特征选择、决策树的生成与剪枝操作。本文简单总结ID3和C4.5算法，之后是决策树的修剪。 ID3算法 ID3算法和核心是 ...
分类：
编程语言 时间：
2018-09-13 01:14:03
阅读次数：
185
雅格布森通信六要素：发送者，信道，接受者，信息，上下文和编码。 马尔科夫假设：随机过程中各个状态的概率分布只与它的前一个状态有关。满足这个假设即为马尔科夫过程（马尔科夫链）。 隐马尔可夫模型：任意时刻t的状态s是不可见的，但是其输出o是可见的，且o有且仅和s相关（独立输出假设）。 训练算法：鲍姆-韦 ...
分类：
其他好文 时间：
2018-09-09 18:08:09
阅读次数：
148
原文链接：https://www.mlpod.com/mlbase/23.html 三要素：方法=模型+策略+算法。 1.1 模型 在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。假设空间用$\mathcal{F}$表示，假设空间可以定义为$$\mathcal{F} = \left\{ ...
分类：
其他好文 时间：
2018-09-02 02:09:13
阅读次数：
238
在概率论和方向统计中，von Mises分布(又称圆正态分布或Tikhonov分布)是圆上的连续概率分布。它近似于包裹正态分布，是正态分布的圆形模拟。 圆上的自由扩散角θ是一个包裹正态分布的随机变量，随时间线性增长的unwarpped variance。另一方面，von Mises分布是调和势中圆上 ...
分类：
其他好文 时间：
2018-08-27 14:14:00
阅读次数：
489
判别模型和生成模型：统计学派和贝叶斯学派之争 判别模型： 直接对输入空间到输出空间的映射h(x)做预测，或者直接对条件概率分布P(y|x)做预测 PM，SVM，NN，KNN，LR，DT 模型一般更准确 不需要预设条件 鲁棒性更高 生成模型： 先对概率分布P(x,y)做预测，根据贝叶斯公式得到P(y| ...
分类：
其他好文 时间：
2018-08-26 13:48:12
阅读次数：
174
1、训练误差和泛化误差 机器学习的主要挑战是我们的模型要在未观测数据上表现良好，而不仅仅是在训练数据上表现良好。在未观测数据上表现良好称为 泛化 （generalization）。 通常情况下，我们在训练数据上训练模型时会计算一些被称为 训练误差 （training error）的误差度量，目标是降 ...
分类：
其他好文 时间：
2018-08-23 00:29:40
阅读次数：
229
