nce loss 和

Tensorflow实现了两种常用与word2vec的loss，sampled softmax和NCE，这两种loss本身可以用于任意分类问题。

之前一直不太懂这两种方法，感觉高深莫测，正好最近搞懂了，借tensorflow的代码和大家一起分享一下我的理解，也记录一下思路。

这两个方法跟绝大多数deep learning的方法一样，相当粗暴。

目的

两个方法的目标是在分类的数量太大时，简化softmax计算，采取估算的方法得到softmax的值。

Intuitive explanation

NCE loss的直观想法：把多分类问题转化成二分类。

之前计算softmax的时候class数量太大，NCE索性就把分类缩减为二分类问题。

之前的问题是计算某个类的归一化概率是多少，二分类的问题是input和label正确匹配的概率是多少。

二分类问题群众喜闻乐见，直接上logistic regression估算一下概率。

(这算不算是通俗易懂回答了答主的问题)

Sampled softmax则是只抽取一部分样本计算softmax。这个想法也很好理解，训练的时候我不需要特别精准的softmax归一化概率，我只需要一个粗略值做back propoagation就好了。当然这么粗糙的计算会不会出什么问题，从我个人的理解上看，不会。

大部分优化器很可能比这粗糙的多，deep learning就是门乱拳打死老师傅的学科。