浅谈KL散度一、第一种理解 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 KL散度是两个概率分布P和Q差别的非对... ...
分类：
其他好文 时间：
2018-01-13 15:47:07
阅读次数：
274
朴素贝叶斯法基于 1.贝叶斯定理 2.特征条件独立假设 用于分类的特征在类（y）确定的情况下是条件独立的 输入： 过程： 1.学习先验概率 2.学习条件概率分布（条件独立性假设） 其中： （极大似然估计） 3.根据贝叶斯公式，计算后验概率 带入条件概率公式： 上式中，分母是一样的，当k取不同值时分子 ...
分类：
其他好文 时间：
2018-01-11 15:35:25
阅读次数：
104
决策树是一种基本的分类和回归方法。本章主要讨论用于分类的决策树，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最 ...
分类：
其他好文 时间：
2017-12-28 23:27:58
阅读次数：
286
对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多，提升法就是从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合弱分类器构成强分类器。大多数提升法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学 ...
分类：
编程语言 时间：
2017-12-23 21:46:22
阅读次数：
160
1、伯努利分布 对于二元随机变量x∈{0, 1}，即x的取值要么是0，要么是1。假设x描述的是扔一枚损坏的硬币的结果（即正反面朝上的概率不一定相等），x=1表示正面朝上，概率为参数μ，则有： p(x=1 | μ) = μ，其中0≤μ≤1 狄利克雷分布， 多项式分布，先验分布，共轭先验 ...
分类：
其他好文 时间：
2017-12-17 12:22:10
阅读次数：
122
交叉熵损失： 给定两个概率分布p和q，通过q来表示p的交叉熵为： 从上述公式可以看出交叉熵函数是不对称的，即H(p,q)不等于H（q,p)。 交叉熵刻画的是两个概率分布之间的距离，它表示通过概率分布q来表示概率分布p的困难程度。所以使用交叉熵作为 神经网络的损失函数时，p代表的是正确答案，q代表的是 ...
分类：
其他好文 时间：
2017-12-16 23:17:08
阅读次数：
363
1.两点分布——离散型概率分布 概念：一次试验，若成功随机变量取值为1，成功概率为p； 若失败随机变量取0，失败概率为1 p 期望$E(X)=1 p+0 (1 p)=p$ 方差 $$ \begin{aligned} D(X)&=p (1 p)^2+(1 p) (0 p)^2\\ &=p(1 p) \ ...
分类：
其他好文 时间：
2017-12-13 11:53:25
阅读次数：
127
概率论与数理统计笔记 第二章 随机变量及其概率分布 概率论与数理统计笔记（计算机专业） 作者： "CATPUB" 新浪微博：@catpub 课程：中国大学MOOC浙江大学概率论与数理统计 部分平台可能无法显示公式，若公式显示不正常可以前往CSDN或作业部落进行查看 第一章：https://www.z ...
分类：
其他好文 时间：
2017-12-03 22:47:44
阅读次数：
236
2. 模型 本部分从建模的角度讨论条件随机场，解释条件随机场如何将结构化输出上的概率分布表示为高维输入向量的函数。条件随机场即可以理解为逻辑回归在任意图结构上的扩展，也可以理解为结构化数据的生成模型（如隐马尔可夫模型）的判别化。 本部分首先对图模型做一个简单的介绍（2.1节），并对NLP中的生成模型 ...
分类：
其他好文 时间：
2017-12-02 16:17:58
阅读次数：
191
