一、 词向量的表示方式： （1）one-hot方式： 考虑一个词表V，里面的每一个词 wi都有一个编号 i∈{1,...,|V|}，那么词 wi的one-hot表示就是一个维度为|V|的向量，其中第i个元素值非零，其余元素全为0。例如：w2=[0,1,0,...,0]Tw3=[0,0,1,...,0 ...
分类：
其他好文 时间：
2018-10-28 22:02:50
阅读次数：
205
1.有DNN做的word2vec，取隐藏层到softmax层的权重为词向量，softmax层的叶子节点数为词汇表大小 2-3的最开始的词向量是随机初始化的 2.哈夫曼树：左边走 sigmoid(当前节点的词向量*当前节点的参数) 右边走 1-sigmoid(当前节点的词向量*当前节点的参数)，叶子节 ...
分类：
其他好文 时间：
2018-10-25 19:28:13
阅读次数：
186
一、摘要： 主要是做一个基于协作（深度）度量学习（CML）的系统来预测新剧场版本的购买概率。即测量产品的空间距离来预测购买概率。 二、模型 该图分为两部分，先计算右边，右边通过深度度量学习（DDML）来计算产品距离，将得到的产品距离输入左边逻辑回归中得到购买概率。 e（movie）是电影的词向量，f ...
分类：
移动开发 时间：
2018-10-20 22:12:24
阅读次数：
304
词向量： 无论是一段话或是一篇文章，词都是最基本的组成单位。 如何让计算机利用这些词？ 重点是如何把一个词转换成一个想向量 如果在一个二维空间中，had，has，have意思相同，所以要离的比较近。 need，help也是离的比较近 要表现出相同，相关。 比如说下面的例子： 哪些词离青蛙frog比较 ...
分类：
其他好文 时间：
2018-10-20 00:48:20
阅读次数：
347
Unsupervised NMT 概述 神经机器翻译系统取得了很好的翻译水平，但非常依赖于平行语料。目前已经有利用大量单语数据训练模型的研究，这其中包括： 仅仅由两份单语语料（不平行）训练出双语词典。这个的核心是学习一个旋转矩阵 W ，使得两份语料的词向量空间对齐，再进行一些调整更好的对齐两词向量空 ...
分类：
系统相关 时间：
2018-10-17 00:16:29
阅读次数：
1120
论文地址： "Attention is you need" 序列编码 深度学习做NLP的方法，基本都是先将句子分词，然后每个词转化为对应的的词向量序列，每个句子都对应的是一个矩阵$X=(x_1,x_2,...,x_t)$，其中$x_i$都代表着第$i$个词向量，维度为d维，故$x\in R^{n×d ...
分类：
其他好文 时间：
2018-10-14 23:11:43
阅读次数：
474
"这篇论文" 提出了 SIF sentence embedding 方法, 作者提供的代码在 "Github" . 引入 作为一种 无监督 计算句子之间相似度的方法, sif sentence embedding 使用预训练好的词向量, 使用加权平均的方法, 对句子中所有词对应的词向量进行计算, 得 ...
分类：
其他好文 时间：
2018-10-14 23:10:07
阅读次数：
489
深度学习做NLP的方法，基本上都是先将句子分词，然后每个词转化为对应的词向量序列。(https://kexue.fm/archives/4765) 第一个思路是RNN层，递归进行，但是RNN无法很好地学习到全局的结构信息，因为它本质是一个马尔科夫决策过程。 第二个思路是CNN层，其实CNN的方案也是 ...
分类：
其他好文 时间：
2018-10-14 00:34:17
阅读次数：
694
Word translation without parallel data ...
分类：
系统相关 时间：
2018-10-11 12:18:34
阅读次数：
386
1.训练词向量代码如下：#训练词语为向量表示def w2v_train(self): ques = self.cu.execute('select question from activity')#将所有问题内容作为预料训练一个w2v模型 da_all = [] for d in ques: da_ ...
分类：
其他好文 时间：
2018-10-10 21:52:36
阅读次数：
177
