码迷,mamicode.com
首页 > 其他好文 > 详细

GloVe----共现矩阵与概率、概率比值

时间:2018-05-12 20:33:29      阅读:1673      评论:0      收藏:0      [点我收藏+]

标签:image   ati   alt   --   关系   bubuko   gas   技术分享   词典   

一、共现矩阵

矩阵的行和列都是词典中的所有词,Xij的定义为,在所有词i的上下文中,Xj出现的次数。因此Xi定义为,所有的Xij之和,也就是词i出现的上下文中的词数总和,基本和词i的出现次数成正比。

 

二、概率

Pij定义为Xij/Xi,即词j在词i的上下文中出现的次数占词i总上下文次数的比值。

 

三、概率比值

比值ratio定义为,借助于第3个词k,探究2个词的关系,出现了一些规律

技术分享图片

 

我们考虑ice冰和steam气的关系,借助于第3个词k:

发现当k为solid时,k和ice近似,这时ratio>>1;

而当k=gas,与steam接近时,ratio<<1;

当k取water或fashion等与2个词都不相关时,ratio≈1

 

因此,这个ratio只有意义的

GloVe----共现矩阵与概率、概率比值

标签:image   ati   alt   --   关系   bubuko   gas   技术分享   词典   

原文地址:https://www.cnblogs.com/mimandehuanxue/p/9025312.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!