一、信息熵 若一个离散随机变量 \(X\) 的可能取值为 \(X = \{ x_{1}, x_{2},...,x_{n}\}\)，且对应的概率为： \[ p(x_{i}) = p(X=x_{i}) \] 那么随机变量 \(X\) 的熵定义为： \[ H(X) = -\sum_{i=1}^{n}p(x ...
分类：
其他好文 时间：
2021-06-30 18:03:09
阅读次数：
0
四则运算 要求：1.两数相加不能超过1002.两数相减不能出现负数3.两数相乘不能大于1004.除法不能出现小数5.题目不能重复，可定制(数量/打印方式)思路：用random函数可以产生随机变量，将生成的两个随机数和四个算术符号分别存放在数组中，可以判断题目是否重复；代码：package sizey ...
分类：
其他好文 时间：
2021-06-02 19:02:09
阅读次数：
0
1 单选(2分) 设离散型随机变量X的分布律为 ,则a = 得分/总分 A. 1/2 B. 1/3 C. 1/5 D. 1/10 2.00/2.00 2 单选(2分) 已知X~P(λ)且P{X=2}=P{X=3}，则P{X=5}= 得分/总分 A. B. 2.00/2.00 C. D. 3 单选(2 ...
分类：
其他好文 时间：
2021-05-24 10:33:22
阅读次数：
0
在求独立的随机变量之和的分布时，可用矩母函数法。 1 矩母函数法 定理 已知$X_1,\ldots,X_n$为独立的随机变量，各种的矩母函数为$M_1,\ldots,M_n$，$a_1,\ldots,a_n$为常数，则$Y=\sum_^a_i X_i$的矩母函数为 \[ M_Y(t)=\text{E ...
分类：
其他好文 时间：
2021-04-13 12:24:16
阅读次数：
0
本文主要是对信息熵、信息增益、信息增益比和 Gini 指数的定义进行汇总，使之更加明确记忆。 信息熵和条件熵 信息熵 熵（entropy）是表示随机变量不确定的度量。设 \(X\) 是一个取有限个值的离散随机变量，其概率分布为 \(P(X=x_i) = p_i, \quad i=1, 2, ..., ...
分类：
其他好文 时间：
2021-02-19 13:40:50
阅读次数：
0
先说一下协方差和相关系数 1.协方差 公式：$$ Cov(X,Y) = E[(X-\mu_x)(Y-\mu_y)]$$ 其中，$\mu_x$和$\mu_y$是随机变量$X$ 和$Y$的均值,两个随机变量的值对其均值的偏差相乘，然后再求期望。 如果$(X-\mu_x)\(与\)(Y-\mu_y)$同号 ...
分类：
其他好文 时间：
2021-01-14 11:24:02
阅读次数：
0
高等数学基础 | 01 微积分 | 02 泰勒公式与拉格朗日乘子法 | 03 线性代数基础 | 04 特征值与矩阵分解 | 05 概率论基础 | 06 随机变量与概率统计 | 07 随机变量的几种分布 | 08 核函数变换 | 09 熵与激活函数 | 10 假设检验 | 11 相关分析 | 12 回 ...
分类：
其他好文 时间：
2020-12-15 12:46:29
阅读次数：
4
Intro 交叉熵，用来衡量两个随机变量之间的相似度。 KL散度（相对熵），量化两种概率分布P和Q之间差异。 计算公式 交叉熵 \(CE(p,q) = - (\sum_{i=1}^{n}[p_{i}*log(q_{i}) + (1-p_{i})*log(1-q_{i})])\) KL散度 \(D_{ ...
分类：
其他好文 时间：
2020-12-10 10:51:19
阅读次数：
3
泊松分布的定义 设随机变量 X 所有可能取的值为 0 , 1, 2, ... , 且取各个值的概率为： $$P(X = k) = e^{-\lambda}\displaystyle\frac{\lambda^k}{k!}, \ k = 0, 1, 2,..., $$ 其中，\(\lambda > 0 ...
分类：
其他好文 时间：
2020-11-11 16:25:31
阅读次数：
6
