词表示模型（二）：基于神经网络的模型：NPLM；word2vec（CBOW/Skip-gram）

标签：

        本文简述了以下内容：

        神经概率语言模型NPLM

        word2vec：CBOW / Skip-gram，直接以得到词表示为目标的模型（加速策略将在下篇文介绍）

神经概率语言模型NPLM

        近年来，基于神经网络来得到词表示的模型备受青睐。这类模型所得到的词的向量表示是分布式表示distributed representation，通常被称为word embedding（词嵌入；词向量）。这种基于预测（predict）的模型的超参数往往要多于基于计数（count）的模型，因此灵活性要强一些。下面就简要介绍利用神经网络来得到词表示的开山之作——神经概率语言模型NPLM，通过训练语言模型，同时得到词表示。

        语言模型是指一个词串 $\{w_t\}_{t=1}^T=w_1^T=w_1,w_2,...,w_T$ 是自然语言的概率

词表示模型（二）：基于神经网络的模型：NPLM；word2vec（CBOW/Skip-gram）

标签：

原文地址：http://www.cnblogs.com/Determined22/p/5803444.html