标签：
条件熵的形式如下：
（8.8）
这个形式与熵的定义形式，咋一看是冲突的，因为不是p(x|y),而是p(x,y)
但是，这个式子是没有问题的，请看下图
上面得到的计算公式是针对y为一个特殊值y时求得的熵。
也就是说，对条件概率p(x|y)求西格玛x, 西格玛y的时候，首先是固定y,对西格玛X求和
这也符合条件概率的定义，p(x|y) 如果求西格玛，好像不能先固定X，对Y求和。这里X是后验，Y之间没有联系。所以只能先对X求和。
对X求完和之后，实际上这时H(x|yi) = H(x|y=yi)
H(x|y)=sigmaP(y)H(x|y=yi)
也就是求期望。
综上所述，对条件概率求条件熵的过程，先是固定一个先验概率Y，对X求和。这样算出来的是某个条件下的条件熵，然后再求期望,算出平均的条件熵。
条件熵，顾名思义，某条件下的熵，也就是说，先验概率Y默认就是固定的某个值，因此对所有的P(x|yi)按Y取期望，可不正好符合定义吗？
标签：
原文地址：http://www.cnblogs.com/mxc2/p/5839446.html
