一、W2V的两种模型：CBOW和Skip-gram W2V有两种模型，分别为CBOW和skip-gram，CBOW是根据上下文$context(w)$来预测中间词$w$，而skip-gram是根据中间词$w$来预测上下文$context(w)$；他们都有3层结构——输入层，投影层，输出层。（注：无隐 ...
分类：
其他好文 时间：
2018-10-04 00:06:27
阅读次数：
334
一、旧版本的神经网络表示词向量 将每个词表示成$m$维的向量，用$v(w)$表示，整个网络分为4层，分别为输入层，投影层，隐藏层，输出层。 输入层：取一个大小为n的窗口表示输入，用1~(n-1)个词来预测第n个词的生成概率。 投影层：将每个词映射为m维向量，将这些词向量拼接为一个(n-1)m的长向量 ...
分类：
其他好文 时间：
2018-10-03 20:32:57
阅读次数：
212
词向量作为文本的基本结构——词的模型，以其优越的性能，受到自然语言处理领域研究人员的青睐。良好的词向量可以达到语义相近的词在词向量空间里聚集在一起，这对后续的文本分类，文本聚类等等操作提供了便利，本文将详细介绍如何使用word2vec构建中文词向量。 一、中文语料库 本文采用的是搜狗实验室的搜狗新闻 ...
分类：
其他好文 时间：
2018-09-23 16:22:44
阅读次数：
338
Word2Vec 词向量的稠密表达形式（无标签语料库训练） Word2vec中要到两个重要的模型，CBOW连续词袋模型和Skip-gram模型。两个模型都包含三层：输入层，投影层，输出层。 1.Skip-Gram神经网络模型（跳过一些词） skip-gram模型的输入是一个单词wI，它的输出是wI的 ...
分类：
其他好文 时间：
2018-09-06 23:06:01
阅读次数：
315
参考论文： GloVe: Global Vectors forWord Representation 参考博客：https://blog.csdn.net/coderTC/article/details/73864097 理解GloVe模型： glove 模型类似于word2vec模型，都是一种词的 ...
分类：
其他好文 时间：
2018-09-06 23:01:54
阅读次数：
242
word2vec的学习 python的几个扩展工具： 1. numpy 2. scipy 3. gensim word2vec的学习 python的几个扩展工具： 1. numpy 2. scipy 3. gensim 如何对新闻的关键词进行聚类？比如说，给你一个关键词“苍井空”，你怎么把“女优”， ...
分类：
其他好文 时间：
2018-08-21 10:55:00
阅读次数：
117
在word2vec之前所有的词汇表示都是用onehot表示类似man这个单词如下表示他把每个词语孤立起来，该网络如果想在下面一个句子中填入一个单词，就不会根据apple联想到orange所以就希望能够使用向量化的方式来表示单词：这样Apple和Orange就会有相似的地方，在这个特征空间内会距离比较近。而且还有这样的特性：如何学习到这个词嵌入矩阵：我们建立一个神经网络像上图那样用前面几个词预测后面
分类：
其他好文 时间：
2018-08-14 11:20:38
阅读次数：
106
一、概述 在上一篇中，我们介绍了Word2Vec即词向量，对于Word Embeddings即词嵌入有了些基础，同时也阐述了Word2Vec算法的两个常见模型 ：Skip-Gram模型和CBOW模型，本篇会对两种算法做出比较分析并给出其扩展模型-GloVe模型。 首先，我们将比较下原Skip-gra ...
分类：
编程语言 时间：
2018-08-11 21:54:04
阅读次数：
302
写在前面的话（可略过）： 一直想写下、整理下利用Tensorflow或Keras工具进行自然语言处理（NLP）方面的文章，对比和纠结了一段时间，发现博众家之长不如静下心来一步一个脚印地去看一本书来得更实在，虽然慢但是心里相对踏实些。近期刚把Thushan Ganegedara写的《Natural L ...
分类：
编程语言 时间：
2018-08-08 19:29:08
阅读次数：
221
RNN（Recurrent Netural Network）循环神经网络，用来处理和预测序列数据，在语音识别，语言描述，翻译等领域有很好的运用。 传统神经网络结构如CNN是假设所有的input之间是相互独立的，output之间也相互独立，但实际中会存在由前面几个字去推测后面的词，这个时候CNN的假设 ...
分类：
其他好文 时间：
2018-08-07 20:46:50
阅读次数：
195
