标签：
PLSA隐变量主题模型，公式推导网上也好，还是书上也好，都属于从略。
但是无论对于新手来说，还是老手，从略是不合适的，这不是一个科学对待的态度。机器学习就这么几个模型，从略是不是也对不起自己了
好了，闲话少说：
这是第一步，都是使用的条件概率公式，当然，分母p(di,wj)的分解，使用的是CK方程，一会再说。
要使第一步成立，则如图所示，p(wj|zk,di)必须等于p(wj|zk)
而wj,di是条件独立的，于是有了如下证明：
p(w|z,d) = p(w,z,d)/p(z,d) = p(w,d|z)*p(z)/p(d|z)*p(z) = p(w,d|z)/p(d|z) = p(w|z)*p(d|z)/p(d/z) = p(w|z)
证明完毕！
补充：我们知道，PLSA是所谓的贝叶斯head-to-tail模型，也就是马尔可夫模型。
上面已经说到，分母p(di,wj)的分解，使用的就是CK方程，这是马尔可夫里面的东西，其实上面分子如果从马尔可夫模型角度来看，完全就是定义，也就是说
这个PLSA的隐变量模型，其实就是从马尔可夫模型推导的，因为无论是分子还是分母，都是直接给结论啊。
再延伸开来，我们知道，最大熵也好，极大似然也好，机器学习中求的就是条件概率p(y|x)。实际上都可以用马尔可夫模型来套。
标签：
原文地址：http://www.cnblogs.com/mxc2/p/5839449.html
