本文讲解 skip-gram 模型以及优化和扩展。主要包括层次 Softmax、负采样、学习短语的表示。 先提一下词向量： 词向量（也叫词嵌入，word embedding），简单地说就是用一个低维向量表示一个词。由于独热编码（one-hot encoding）存在维度灾难，即稀疏性，且无法理解词与 ...
分类：
其他好文 时间：
2020-04-30 21:26:52
阅读次数：
67
经验分布，也可以考虑有单个顶点、边，或局部的？ loss 怎么定的问题 【Graph Embedding】LINE：算法原理，实现和应用 之前介绍过DeepWalk，DeepWalk使用DFS随机游走在图中进行节点采样，使用word2vec在采样的序列学习图中节点的向量表示。 DeepWalk：算法 ...
分类：
编程语言 时间：
2020-04-29 14:28:15
阅读次数：
110
seq2seq 是RNN的变种，也叫 Encoder-Decoder 模型。它的输入是一个序列，输出也是一个序列，常用于翻译等场景。 利用两个 RNN，Encoder 负责将输入序列压缩成指定长度的上下文向量c，Decoder 则负责根据上下文向量c生成指定的序列。 上下文向量c也可以参与序列所有时 ...
分类：
其他好文 时间：
2020-04-28 13:00:54
阅读次数：
50
参考：https://www.cnblogs.com/robert-dlut/p/9824346.html Embeddings from Language Model 一、引入 ELMO不同于glove，word2vec，后者们的思想是对于一个词语，用一个预训练好的模型，把一个词语变成一个固定不变 ...
分类：
其他好文 时间：
2020-04-18 12:19:05
阅读次数：
69
Word2Vec是词的一种表示，将词以固定的维数的向量表示出来。其优点：基于词袋模型的独热编码方式在判定同义词和相似句子的时候效果不是很好，而Word2Vec充分利用上下文信息，对上下文进行训练，每个向量不在是只有一个位置为1，其余位置为0 的稀疏向量。而是稠密的固定维度的向量。实现方式主要有一下两 ...
分类：
其他好文 时间：
2020-04-14 20:32:10
阅读次数：
82
实体嵌入（embedding）目的将表格数据中的分类属性（一个至多个）向量化。1.实体嵌入简介：实体嵌入是主要应用于深度学习中处理表格分类数据的一种技术，或者更确切地说NLP领域最为火爆，word2vec就是在做word的embedding。神经网络相比于当下的流行的xgboost、LGBM等树模型... ...
分类：
其他好文 时间：
2020-04-05 00:32:18
阅读次数：
108
[TOC] 文本表示哪些方法？ 基于one hot、tf idf等的bag of words； 基于词向量的固定表征：word2vec、fastText、glove 基于词向量的动态表征：elmo、GPT、bert one hot存在的问题 one hot表征无法反应词与词之间的相关性问题，即语义鸿 ...
分类：
其他好文 时间：
2020-04-04 14:34:28
阅读次数：
216
使用参考：https://zhuanlan.zhihu.com/p/31139113 例程： def get_data_iter(train_csv, test_csv, fix_length, batch_size, word2vec_dir): TEXT = data.Field(sequent ...
分类：
其他好文 时间：
2020-04-02 18:23:04
阅读次数：
90
开篇： 从事NLP方向的工作也有一年了，前前后后也学到了很多东西，但是就是没有整理过，现在从原理和应用的方面将所有知识总结方便复习管理。 一、word2vec word2vec可以说得上是NLP的一个里程碑。将每个单词离散表示，既解决了one-hot的巨大维度，也解决了one-hot的部分语义问题。 ...
分类：
其他好文 时间：
2020-03-30 23:45:00
阅读次数：
180
CVPR2020论文解析：视频分类Video Classification Rethinking Zero-shot Video Classification: End-to-end Training for Realistic Applications 论文链接：https://arxiv.org ...
分类：
其他好文 时间：
2020-03-21 13:19:41
阅读次数：
709
