本文介绍常见的文本表示模型，One-hot、词袋模型（BOW）、TF-IDF、N-Gram和Word2Vec 一、离散表示 1、One-hot编码 One-hot编码是非常用的方法，我们可以用One-hot编码的方式将句子向量化，大致步骤为： 用构造文本分词后的字典 对词语进行One-hot编码 J ...
分类：
其他好文 时间：
2019-09-05 22:57:26
阅读次数：
1878
1 gensim是什么？ gensim是一个Python常用的的自然语言处理开发包, 主要用于词向量训练和加载词向量，以下解释其正确使用姿势。 2 正确使用姿势 ...
分类：
其他好文 时间：
2019-08-31 23:02:51
阅读次数：
73
"深入理解wmd算法" WMD（Word Mover’s Distance） "1" 是2015年提出的一种衡量文本相似度的方法。它具有以下几个优点： 效果出色：充分利用了 "word2vec" 的领域迁移能力 无监督：不依赖标注数据，没有冷启动问题 模型简单：仅需要词向量的结果作为输入，没有任何超 ...
分类：
编程语言 时间：
2019-08-31 21:26:54
阅读次数：
148
from gensim.models import Word2Vec Word2Vec(self, sentences=None, size=100, alpha=0.025, window=5, min_count=5, max_vocab_size=None, sample=1e-3, seed... ...
分类：
其他好文 时间：
2019-08-30 13:56:44
阅读次数：
70
代码所需数据集在 https://github.com/NELSONZHAO/zhihu/tree/master/machine_translation_seq2seq 下载。 tqdm是为了加载进度条使用。 训练代码 预测代码 可输入任意句子 ...
分类：
其他好文 时间：
2019-08-27 19:22:43
阅读次数：
76
当前文本向量化主流的方式是word2vec词向量技术，从基于统计的方法，到基于神经网络的方法，掌握word2vec词向量技术是学习文本向量化的最好的方式 下面是Tomas MIkolov的三篇有关word embedding的文章： 1、Efficient Estimation of Word Re ...
分类：
其他好文 时间：
2019-08-24 23:16:59
阅读次数：
175
文本表示是自然语言处理中的基础工作，文本表示的好坏直接影响到整个自然语言处理系统的性能。在自然语言处理研究领域，文本向量化是文本表示的一种重要方式。 顾名思义，文本向量化就是将文本表示成一系列能够表达文本语义的向量。无论中文还是英文，词语都是表达文本处理的最基本单元。 当前阶段，对文本向量化都是通过 ...
分类：
其他好文 时间：
2019-08-24 22:32:52
阅读次数：
100
基于word2vec的文档向量模型的应用 word2vec的原理以及训练过程具体细节就不介绍了，推荐两篇文档：《word2vec parameter learning explained》、和《word2vec中的数学》。 在《word2vec中的数学》中谈到了训练语言模型的一些方法：比如n gra ...
分类：
其他好文 时间：
2019-08-23 22:37:38
阅读次数：
154
spaCy能够比较两个对象，并预测它们的相似程度。 预测相似性对于构建推荐系统或标记重复项很有用。 例如，您可以建议与当前正在查看的用户内容相似的用户内容，或者将支持凭单标记为与现有内容非常相似的副本。 每个Doc、Span和Token都有一个.similarity()方法，它允许您将其与另一个对象 ...
分类：
其他好文 时间：
2019-08-08 13:00:33
阅读次数：
100
1、如何在全连接层拼接特征？ 有一种方法是有两个input，一个input通过网络最终达到全连接层，另一个input直接接一个全连接网络，神经元数是特征数，这两个可以进行一个concat。 当然了也可以直接输入特征concat到全连接层，但是据说前者效果要好一点。 2、word2vec词向量如何在网 ...
分类：
其他好文 时间：
2019-07-24 00:12:20
阅读次数：
100
