简介GloVe词向量：推导、实现、应用

标签：模型   rod   点积   窗口   接下来   mamicode   保留   int   应用   

类似于word2vec，GloVe也是一种词向量训练方法，改进如下:
能够更好的利用全局统计量，训练速度更快
仍然保留了局部窗口共现信息，语义效果略好于word2vec
接下来，我会简要介绍GloVe模型的推导、PyTorch实现、使用方法

一、推导

原文提到了两种推导思路：一是【用词向量点积去拟合共现概率比】，二是【逐步改良SkipGram】；分别介绍如下

直接拟合概率比

首先定义拟合目标，得出 式(1)

（注: 确切来说，更喜欢

简介GloVe词向量：推导、实现、应用

标签：模型   rod   点积   窗口   接下来   mamicode   保留   int   应用   

原文地址：https://blog.51cto.com/15054042/2564021