word2vec 中的数学原理详解 word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节， ...
分类：
其他好文 时间：
2017-07-14 00:34:20
阅读次数：
195
一、情感分类方面 为了提高CNN情感分类的准确率，对CNN模型的输入层进行改进，加入word2vec。 各个方案基于这样的前提： a. 经过上个星期调试，当KERNEL_NUM=200, KERNEL_SIZES=[3, 4, 5, 6, 7] 时准确率最高，所以下面所有改进都是基于此结论的基础上的 ...
分类：
其他好文 时间：
2017-07-12 01:09:54
阅读次数：
232
这个项目主要涉及到两个网络，其中卷积神经网络用来提取图片表达的情绪，提取出一个二维向量。 网络结构如图： 词向量采用预训练的glove模型，d=50，其他信息包括了图片的“空旷程度”、亮度、对比度等信息，用来更好地描述图片特征。 对于图中的卷积神经网络，需要讲解的地方是：卷积核是一个一维卷积核，每一 ...
分类：
编程语言 时间：
2017-07-10 20:46:06
阅读次数：
242
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了非常多人的关注。因为 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节，因而在一定程度上添加了这个工具包的 ...
分类：
其他好文 时间：
2017-07-06 17:03:01
阅读次数：
260
我们尝试基于CBOW模型，将知识库中抽取的知识融合共同训练，提出LRWE模型。模型的结构图如下：下面详细介绍该模型的思想和求解方法。1.LWE模型在Word2vec的CBOW模型中，通过上下文的词预测目标词，目标是让目标词在其给定上下文出现的概率最大，所以词向量训练的结果是与其上下..
分类：
其他好文 时间：
2017-07-05 11:36:47
阅读次数：
189
上一节，我们介绍利用文本和知识库融合训练词向量的方法，如何更好的融合这些结构化知识呢？使得训练得到的词向量更具有泛化能力，能有效识别同义词反义词，又能学习到上下文信息还有不同级别的语义信息。 基于上述目标，我们尝试基于CBOW模型，将知识库中抽取的知识融合共同训练，提出LRWE模型。模型的结构图如下 ...
分类：
其他好文 时间：
2017-07-04 20:13:31
阅读次数：
1543
# Downloading data. If the file already exists, check that it was received correctly (the file size is the same).# Return filename after download. voc ...
分类：
其他好文 时间：
2017-06-30 18:56:00
阅读次数：
332
Tensorflor实现文本分类 下面我们使用CNN做文本分类 cnn实现文本分类的原理 下图展示了如何使用cnn进行句子分类。输入是一个句子，为了使其可以进行卷积，首先需要将其转化为向量表示，通常使用word2vec实现。d=5表示每个词转化为5维的向量，矩阵的形状是[sentence_lengt ...
分类：
其他好文 时间：
2017-06-21 18:16:44
阅读次数：
747
数据收集以后，我们下面接着要干的事情是如何将文本转换为神经网络能够识别的东西。 词向量 作为自然语言，只有被数学化才能够被计算机认识和计算。数学化的方法有很多，最简单的方法是为每个词分配一个编号，这种方法已经有多种应用，但是依然存在一个缺点：不能表示词与词的关系。 词向量是这样的一种向量[2.1, ... ...
分类：
其他好文 时间：
2017-06-09 23:43:15
阅读次数：
236
目前智能QA系统都是基于seq2seq模型来开发（如google），seq2seq模型基于one-hot的词嵌入，每个词用一个数字代替不足以表示词与词之间的关系，word2vec通过多维向量来做词嵌入，能够表示出词之间的关系，比如：男-女≈王子-公主。基于seq2seq的思想，利用多维词向量来实现模... ...
分类：
其他好文 时间：
2017-06-09 23:35:54
阅读次数：
1165
