概率分布（一) 参数分布 取这个名字是因为少量的参数可以控制整个概率分布。如高斯分布，我们只需要控制其期望和方差就可以得到一个特定的概率分布。 频率学家的观点：通过最优化某些准则（如似然函数）来确定参数的具体值。 贝叶斯观点：给定观察数据，先引入参数的先验分布，然后用贝叶斯定理计算对应的后验概率分布 ...
分类：
其他好文 时间：
2020-01-17 23:33:26
阅读次数：
406
本文始发于个人公众号： TechFlow 这一讲当中我们来探讨三种经典的概率分布，分别是伯努利分布、二项分布以及多项分布。 在我们正式开始之前，我们先来明确一个概念，我们这里说的分布究竟是什么？ 无论是在理论还是实际的实验当中，一个事件都有可能有若干个结果。每一个结果可能出现也可能不出现，对于每个事 ...
分类：
其他好文 时间：
2020-01-17 09:35:35
阅读次数：
93
条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型，在自然语言处理中得到了广泛应用。 HMM引入了马尔科夫假设，即当前时刻的状态只与其前一时刻的状态有关，HMM是一种生成式概率图模型，条件随机场（CRF）与HMM ...
分类：
其他好文 时间：
2020-01-14 20:30:15
阅读次数：
77
KL散度（Kullback–Leibler divergence）：用于刻画概率分布Q拟合概率分布P的程度，P为真实数据的概率分布，Q为随机噪声生成数据的概率分布，对抗的目的是让Q充分拟合P，如果Q拟合P不充分，就会产生信息损耗，整个信息损耗就是P和Q的KL散度。 离散的概率分布公式定义： 连续的概 ...
分类：
其他好文 时间：
2020-01-12 18:17:52
阅读次数：
124
数据挖掘中所需的概率论与数理统计知识 （关键词：微积分、概率分布、期望、方差、协方差、数理统计简史、大数定律、中心极限定理、正态分布） 导言：本文从微积分相关概念，梳理到概率论与数理统计中的相关知识，但本文之压轴戏在本文第4节（彻底颠覆以前读书时大学课本灌输给你的观念，一探正态分布之神秘芳踪，知晓其 ...
分类：
其他好文 时间：
2020-01-10 01:06:15
阅读次数：
299
[TOC] 统计学习 对象:data 目的:预测和分析 方法 监督，无监督，强化学习 基本分类 1. 监督学习 从标注数据中学习预测模型 建设$(X,Y)$遵循联合概率分布$P(X,Y)$, 样本独立同分布 假设空间：输入空间到输出空间映射的集合 2. 无监督 $X$是输入空间，$Z$是隐式结构空间 ...
分类：
其他好文 时间：
2020-01-05 10:13:03
阅读次数：
95
1、 分布（卡方分布） 若n个相互独立的随机变量ξ?，ξ?，...,ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布（chi-square distribution）。 分布在数理统计中具有重要意义。 分 ...
分类：
其他好文 时间：
2020-01-04 12:45:43
阅读次数：
125
比较重要的四种分布：正态分布、卡方分布、F分布、t分布 卡方分布概率密度曲线 t分布概率密度曲线 F分布概率密度曲线 参考资料： 统计学中四个概率分布 重要抽样分布 ...
分类：
编程语言 时间：
2019-12-31 10:58:58
阅读次数：
146
信息度量 1. 独立与马尔可夫链 独立 （Independence） 对于两个随机变量$X$和$Y$，若对所有的$(x, y) \in \mathcal{X} \times \mathcal{Y}$，都有 $$ p(x, y) = p(x)p(y) $$ 则称$X$和$Y$独立，记为$X \perp ...
分类：
其他好文 时间：
2019-12-29 20:18:32
阅读次数：
87
K-L散度度量信息损失 只需要稍加修改熵H的计算公式就能得到K-L散度的计算公式。设p为观察得到的概率分布，q为另一分布来近似p，则p、q的K-L散度为： entropy-p-q 显然，根据上面的公式，K-L散度其实是数据的原始分布p和近似分布q之间的对数差值的期望。如果继续用2为底的对数计算，则K ...
分类：
其他好文 时间：
2019-12-29 14:57:10
阅读次数：
87
