● Word2Vec中skip-gram是什么,Negative Sampling怎么做 参考回答： Word2Vec通过学习文本然后用词向量的方式表征词的语义信息,然后使得语义相似的单词在嵌入式空间中的距离很近。而在Word2Vec模型中有Skip-Gram和CBOW两种模式,Skip-Gram是 ...
分类：
编程语言 时间：
2019-06-03 21:30:28
阅读次数：
662
首先Hierarchical Softmax是word2vec的一种改进方式，因为传统的word2vec需要巨大的计算量，所以该方法主要有两个改进点： 1. 对于从输入层到隐藏层的映射，没有采取神经网络的线性变换加激活函数的方法，而是采用简单的对所有输入词向量求和并取平均的方法。 比如输入的是三个4 ...
分类：
其他好文 时间：
2019-06-02 20:37:24
阅读次数：
1171
1 传统方式的缺点 使用索引的方式无法表达词之间的相似性，n元模型在很多场合难以取得明显的进步和表现 2 CBow连续词袋模型（周围词预测中心词）、SkipGram 中心词预测周围词 3 参考知识点 " 霍 ...
分类：
编程语言 时间：
2019-05-24 09:18:16
阅读次数：
490
上一篇博客用词袋模型，包括词频矩阵、Tf-Idf矩阵、LSA和n-gram构造文本特征，做了Kaggle上的电影评论情感分类题。 这篇博客还是关于文本特征工程的，用词嵌入的方法来构造文本特征，也就是用word2vec词向量和glove词向量进行文本表示，训练随机森林分类器。 一、训练word2vec ...
分类：
其他好文 时间：
2019-05-19 18:10:28
阅读次数：
149
方法1：无监督，不使用额外的标注数据 average word vectors：简单的对句子中的所有词向量取平均，是一种简单有效的方法， 缺点： 没有考虑到单词的顺序 ，只对15个字以内的短句子比较有效，丢掉了词与词间的相关意思，无法更精细的表达句子与句子之间的关系。 tfidf weighting ...
分类：
其他好文 时间：
2019-05-13 16:24:05
阅读次数：
370
博客园的markdown用起来太心塞了，现在重新用其他编辑器把这篇博客整理了一下。 目前用word2vec算法训练词向量的工具主要有两种：gensim 和 tensorflow。gensim中已经封装好了word2vec这个包，用起来很方便，只要把文本处理成规范的输入格式，寥寥几行代码就能训练词向量 ...
分类：
其他好文 时间：
2019-05-09 13:57:30
阅读次数：
218
word2vec完整的解释可以参考《word2vec Parameter Learning Explained》这篇文章。 cbow模型 cbow模型的全称为Continuous Bag-of-Word Model。该模型的作用是根据给定的词$w_{input}$，预测目标词出现的概率$w_t$，对 ...
分类：
其他好文 时间：
2019-04-16 00:55:19
阅读次数：
298
1. 文本向量化特征的不足 在将文本分词并向量化后，我们可以得到词汇表中每个词在各个文本中形成的词向量，比如在文本挖掘预处理之向量化与Hash Trick这篇文章中，我们将下面4个短文本做了词频统计： corpus=["I come to China to travel", "This is a c ...
分类：
其他好文 时间：
2019-04-07 18:07:57
阅读次数：
161
参考书 《TensorFlow：实战Google深度学习框架》（第2版） 一个完整的训练程序，它使用一个双层LSTM作为循环神经网络的主体，并共享Softmax层和词向量层的参数。 运行结果： ? ...
分类：
编程语言 时间：
2019-02-26 17:08:14
阅读次数：
405
朴素贝叶斯 朴素贝叶斯概述 文本分类 准备数据:从文 本中构建词向量 训练算法：从词向量计算概率 贝叶斯分类函数 词袋模型 一个小优化，相比与之前只统计词出现与否的词条模型，词袋模型统计词出现的次数 垃圾邮件过滤 不清楚为什么我做出来的错误率这么高，算了，先放着吧 最后一个不写了 ...
分类：
其他好文 时间：
2019-02-26 11:54:06
阅读次数：
195
