基于word2vec的文档向量模型的应用 word2vec的原理以及训练过程具体细节就不介绍了，推荐两篇文档：《word2vec parameter learning explained》、和《word2vec中的数学》。 在《word2vec中的数学》中谈到了训练语言模型的一些方法：比如n gra ...
分类：
其他好文 时间：
2019-08-23 22:37:38
阅读次数：
154
1、如何在全连接层拼接特征？ 有一种方法是有两个input，一个input通过网络最终达到全连接层，另一个input直接接一个全连接网络，神经元数是特征数，这两个可以进行一个concat。 当然了也可以直接输入特征concat到全连接层，但是据说前者效果要好一点。 2、word2vec词向量如何在网 ...
分类：
其他好文 时间：
2019-07-24 00:12:20
阅读次数：
100
在word2vec原理中讲到如果每个词向量由300个元素组成，并且一个单词表中包含了10000个单词。回想神经网络中有两个权重矩阵——一个在隐藏层，一个在输出层。这两层都具有300 x 10000 = 3,000,000个权重！使用梯度下降法在这种巨大的神经网络下面进行训练是很慢的。并且可能更糟糕的 ...
分类：
其他好文 时间：
2019-07-21 22:33:34
阅读次数：
523
预训练 先在某个任务（训练集A或者B）进行预先训练，即先在这个任务（训练集A或者B）学习网络参数，然后存起来以备后用。当我们在面临第三个任务时，网络可以采取相同的结构，在较浅的几层，网络参数可以直接加载训练集A或者B训练好的参数，其他高层仍然随机初始化。底层参数有两种方式： frozen ，即预训练 ...
分类：
其他好文 时间：
2019-07-20 23:21:29
阅读次数：
202
词向量训练步骤： 项目完整地址：https://github.com/cyandn/practice/tree/master/Word2Vec gensim中Word2Vec参数解释： 主要参数介绍如下： 存在的问题： 感觉 stop_words.txt 停用词去的有点狠。。 ...
分类：
其他好文 时间：
2019-07-14 23:56:34
阅读次数：
236
1. wordvec的概念 2. 语言模型训练的两种模型CBOW+skip gram 3. word2vec 优化的两种方法：层次softmax+负采样 4. gensim word2vec默认用的模型和方法 ...
分类：
其他好文 时间：
2019-07-14 19:33:18
阅读次数：
787
首先需要具备gensim包，然后需要一个语料库用来训练，这里用到的是skip-gram或CBOW方法，具体细节可以去查查相关资料，这两种方法大致上就是把意思相近的词映射到词空间中相近的位置。 语料库test8下载地址: http://mattmahoney.net/dc/text8.zip 这个语料 ...
分类：
编程语言 时间：
2019-06-26 13:48:38
阅读次数：
299
理解 Word2Vec 之 Skip-Gram 模型 天雨粟 模型师傅 / 果粉 https://zhuanlan.zhihu.com/p/27234078 天雨粟 模型师傅 / 果粉 https://zhuanlan.zhihu.com/p/27234078 天雨粟 模型师傅 / 果粉 https ...
分类：
其他好文 时间：
2019-06-25 15:12:25
阅读次数：
101
1.对词用独热编码进行表示的缺点 向量的维度会随着句子中词的类型的增大而增大，最后可能会造成维度灾难2、任意两个词之间都是孤立的，仅仅将词符号化，不包含任何语义信息，根本无法表示出在语义层面上词与词之间的相关信息，而这一点是致命的。 2.用向量代表词的好处 3.词嵌入的由来 在NLP之分词中提过，o ...
分类：
其他好文 时间：
2019-06-16 20:05:09
阅读次数：
206
知识点 1、wiki词库处理 繁体字转为简体字 2、对简体语料库进行jieba分词 3、word2vec建模 4、加载模型，预测 ...
分类：
其他好文 时间：
2019-06-11 12:42:31
阅读次数：
103
