1、知识点 2、中文数据清洗(使用停用词) 3、英文数据清洗(使用停用词) 4、stopwords_english.txt ...
分类：
编程语言 时间：
2019-06-13 22:01:53
阅读次数：
614
知识点 1、wiki词库处理 繁体字转为简体字 2、对简体语料库进行jieba分词 3、word2vec建模 4、加载模型，预测 ...
分类：
其他好文 时间：
2019-06-11 12:42:31
阅读次数：
103
在使用预训练的embedding层的时候，一定要注意词表的index，在word2vec中， model.wv.index2word 这个是一个list, index就是词的index，这个是固定的，即便是换到linux平台，这个index也是不变的，所以使用这个。 ...
分类：
其他好文 时间：
2019-06-10 14:00:02
阅读次数：
106
例句: Jane wants to go to Shenzhen. Bob wants to go to Shanghai. 一、词袋模型 将所有词语装进一个袋子里，不考虑其词法和语序的问题，即每个词语都是独立的。例如上面2个例句，就可以构成一个词袋，袋子里包括Jane、wants、to、go、Sh ...
分类：
其他好文 时间：
2019-06-05 12:41:03
阅读次数：
371
● Word2Vec中skip-gram是什么,Negative Sampling怎么做 参考回答： Word2Vec通过学习文本然后用词向量的方式表征词的语义信息,然后使得语义相似的单词在嵌入式空间中的距离很近。而在Word2Vec模型中有Skip-Gram和CBOW两种模式,Skip-Gram是 ...
分类：
编程语言 时间：
2019-06-03 21:30:28
阅读次数：
662
首先Hierarchical Softmax是word2vec的一种改进方式，因为传统的word2vec需要巨大的计算量，所以该方法主要有两个改进点： 1. 对于从输入层到隐藏层的映射，没有采取神经网络的线性变换加激活函数的方法，而是采用简单的对所有输入词向量求和并取平均的方法。 比如输入的是三个4 ...
分类：
其他好文 时间：
2019-06-02 20:37:24
阅读次数：
1171
1 传统方式的缺点 使用索引的方式无法表达词之间的相似性，n元模型在很多场合难以取得明显的进步和表现 2 CBow连续词袋模型（周围词预测中心词）、SkipGram 中心词预测周围词 3 参考知识点 " 霍 ...
分类：
编程语言 时间：
2019-05-24 09:18:16
阅读次数：
490
上一篇博客用词袋模型，包括词频矩阵、Tf-Idf矩阵、LSA和n-gram构造文本特征，做了Kaggle上的电影评论情感分类题。 这篇博客还是关于文本特征工程的，用词嵌入的方法来构造文本特征，也就是用word2vec词向量和glove词向量进行文本表示，训练随机森林分类器。 一、训练word2vec ...
分类：
其他好文 时间：
2019-05-19 18:10:28
阅读次数：
149
方法1：无监督，不使用额外的标注数据 average word vectors：简单的对句子中的所有词向量取平均，是一种简单有效的方法， 缺点： 没有考虑到单词的顺序 ，只对15个字以内的短句子比较有效，丢掉了词与词间的相关意思，无法更精细的表达句子与句子之间的关系。 tfidf weighting ...
分类：
其他好文 时间：
2019-05-13 16:24:05
阅读次数：
370
在网上看了好多个博客，都没有很好解决，最后google.. 大概问题就是gensim库在安装时没有和其他一些包关联起来（可能是由于用pip安装的gensim导致这个问题），所以在用Word2Vec时没法加速，训练很慢（好像要好几个小时） 解决方法： 记住卸载包后重装一定要用conda来重新安装（好像 ...
