码迷,mamicode.com
首页 > 其他好文 > 详细

LDA理解

时间:2018-05-24 23:06:07      阅读:226      评论:0      收藏:0      [点我收藏+]

标签:技术   转换   导致   jpg   多少   主题   ali   S3   strong   

 

LDA只是一个求解思路。

 

1.理解LDA首先要理解EM算法,EM不能叫做一个算法,只是一个思想:它要求解的其实是一个极大似然估计,就是我用已知量去求解导致这个已知量出现的最大概率,而在这里又恰恰有点偏,这个已知量是我们开始给定的这个初值,我们要去用这个已知量去求解最大,然后再用这个最大值再带入到我们这个模型中,再去求解,这样反复迭代的过程叫做EM。

例子:

技术分享图片

我们要求这个式子的极大似然,而技术分享图片是我们预先给定的值,这里面有一个隐变量z,而x是我们给定的样本,隐变量z就相当于我们在求导链式法则的时候,不能直接对某一值求导数,我们要利用链式法则来求,而转换成链式法则的过程中出现的参数,就是隐变量;隐变量就是我们是知道他是多少,但不知道他的具体的值,它每次经过迭代以后的值是不一样的。

上面这个式子,可以转换为对下面这个式子求极大似然:

技术分享图片

主要是看后面那个P值,我们对这个P值求最大,而每次求出一个z值,而求出z值以后,可以求出后面那个式子的最大值,然后又可以求出一个技术分享图片,再把这个技术分享图片带入到式子里面去算,又可以算出一个最大值,直到两次算出来的值差不多,我们就认为收敛了,这个时候就可以得到一个技术分享图片值,就是我们要求的值。对应到LDA里面技术分享图片就是我们的技术分享图片或者是技术分享图片值。

EM可以看成是E和M,E是期望,M是迭代的次数。

 

2.共轭分布:已知主题与文章的分布:这个主题下,观测到每个文章的概率是多少;这个是我们的先验,我们要求的就是文章与主题的分布:就是在这个文章下,观测到每个主题的概率是多少,最终求出一个值,来表示这个分布;主题和文章的分布,文章和主题的分布可以看成是一样的,因为下面这个式子中,分布变大,最后的值也变大,这就叫共轭分布,看得时候看得抽象一点,就看成一个值,把分布看成一个值。

例子:

技术分享图片

右边等式下面是一个常数,我们可以不看,在神经网络里面,B就相当于我们的样本数据,而A就相当于权重,我们开始会给定一个初始的A,我们就知道了在A下B的分布,然后通过一系列的算法去调整B下A的分布,可以求出一个等式最左边的值技术分享图片,然后下次将技术分享图片当做技术分享图片,就是反复的迭代,最终得到一个P(A)。

 

贝叶斯:一个文档下主题是一个分布,而主题又是一个分布:就是说一个文档下的主题可能是这样的,有A1,A2,A3个主题,有可能是(0.1A1,0.1A2,0.8A3),(0.1A1,0.2A2,0.7A3)等等。主题和词也一样的原理。

LDA理解

标签:技术   转换   导致   jpg   多少   主题   ali   S3   strong   

原文地址:https://www.cnblogs.com/callyblog/p/9085475.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!