标签：inline 有关 有监督 || 机器 函数 定义 训练 标签
若一个离散随机变量 \(X\) 的可能取值为 \(X = \{ x_{1}, x_{2},...,x_{n}\}\)，且对应的概率为：
那么随机变量 \(X\) 的熵定义为：
规定当 \(p(x_{i})=0\) 时，\(H(X)=0\)。
通过公式可以看出，若随机变量 \(X\) 的取值等概率分布，即 \(p(x_{i} = p(x_{j}), i \neq j\) 时，\(H(X)\) 最大。
直观理解：信息熵表达的时随机变量 \(X\) 所含的信息量，当 \(X\) 中所有取值都等概率时，包含的信息量就越多，就需要用更多的信息来描述它。如果知道了 \(X\) 中取哪个值概率最大，那么描述它所需要的信息就越少，\(H(X)\) 就越小。换句话说，信息熵表明了信息的无序状态。
交叉熵定义为用模拟分布 \(q\) 来编码真实分布 \(p\) 所需要的平均编码长度比特个数：
拿一个三分类问题举例，加入标签通过 one-hot 编码后的目标为 \([1,0,0]\)，那么当预测完全准确时，模拟分布 \(q\) 的熵为：
因此，在使用交叉熵作为损失函数执行分类任务时，通常使目标函数趋近于0。加入模型预测出来的结果为：\(p = [0.7, 0.2, 0.1]\)，那么 \(p, q\) 的交叉熵为：
为什么在分类任务中多用交叉熵而不是MSE作为损失函数？我们以二分类问题为例来解释这个问题。假设训练数据集为：\(T = \{ (x_{1},y_{1}),(x_{2},y_{2}),...,(x_{n},y_{n})\}\)，其中 \(y_{i} \in \{0,1\}\)。网络的输出为：\(z = w^{T}x\)，标签为 \(p = \{1,0\}\)。于是最后对网络所预测的概率值为：\(q = \sigma(z)\)，其中 \(\sigma()\) 代表 sigmoid 激活函数：
若使用 MSE 作为损失函数，则：
而使用交叉熵作为损失函数，则：
对比之下发现，由于sigmoid 函数在输出接近0和1时，梯度很小，而使用 MSE 做损失函数时模型参数w会更新的比较慢，因此分类问题多采用交叉熵作为损失函数。
个人认为，使用交叉熵而不是用MSE的另一个原因在于，交叉熵损失函数的理想分类结果只与正确样本有关，而MSE损失函数与正误样本都有关系。
相对熵用来表示两个概率分布的差异，它表示2个函数或概率分布的差异性：差异越大则相对熵越大，差异越小则相对熵越小，特别地，若2者相同则熵为0。公式表示如下：
于是，相对熵=交叉熵-信息熵。而在有监督的机器学习和深度学习中，往往已经有了真实的样本(随机变量)和标签(label)，因此可以理解为实际的概率分布 \(p\) 已知，而训练所得到的分布为 \(q\)，那么信息熵 \(H_{p}\) 相当于常量，所以可以直接用交叉熵 \(H(p,q)\) 来衡量两个独立概率分布的差异。
标签：inline 有关 有监督 || 机器 函数 定义 训练 标签
原文地址：https://www.cnblogs.com/zhaozhibo/p/14950485.html
