自然语言处理（NLP） NLP中最细粒度的是词语（word），词语组成句子，句子再组成段落、章节和文档。所以NLP的核心问题就是：如何理解word 如何理解word 由于目标是与计算机对接，其核心就是如何给计算机描述一个word，有以下两种描述方式： One-hot Representation D ...
分类：
其他好文 时间：
2019-10-21 10:01:31
阅读次数：
116
什么是 token embedding？ 输入一个word，在字典里查找得到它对应的下标就是token，然后用该数字下标去lookup表查找得到该词对应的词向量(词嵌入)就是embedding ...
分类：
其他好文 时间：
2019-10-20 19:59:29
阅读次数：
108
All in Jay Alammar's bolg 1.word2vec 2.transformer 3.gpt2 4.bert NLM ...
分类：
其他好文 时间：
2019-10-19 00:06:51
阅读次数：
71
what is graph embedding. embedding 在数学上是一个映射函数: f: X >Y, 一个空间点到另一个空间的映射,通常为高维到低维的映射. 而计算机和神经网络善于处理低纬度信息. statistical language model: 统计语言模型 是用来计算一个句子的 ...
分类：
其他好文 时间：
2019-10-15 18:54:20
阅读次数：
83
[TOC] 前言 在上一篇文章中，我们了解了词向量的相关内容。对于英文语料来说，直接根据空格或者标点即可对词记性划分。而对于中文语料，分词的方法就十分复杂了。之前在概述里提到过，在中文自然语言处理领域，不同的分词方法将使得同一个句子有不同的含义，如： “乒乓球拍/卖了” 和 “乒乓球/拍卖/了” “ ...
分类：
其他好文 时间：
2019-10-02 18:58:39
阅读次数：
85
1.Contextualized Word Embedding 同样的单词有不同的意思，比如下面的几个句子，同样有 “bank” ，却有着不同的意思。但是用训练出来的 Word2Vec 得到 “bank” 的向量会是一样的。向量一样说明 “word” 的意思是一样的，事实上并不是如此。这是 Word ...
分类：
其他好文 时间：
2019-10-01 20:24:58
阅读次数：
121
1. 什么是BERT
BERT的全称是Bidirectional Encoder Representation from Transformers，是Google2018年提出的预训练模型，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在... ...
分类：
其他好文 时间：
2019-09-28 23:40:10
阅读次数：
98
自然语言处理－词向量引言在计算机视觉中，作为输入的图片可以直接数值化。在语言识别中，作为输入的语音也可以直接数值化。而在自然语言处理中，我们无法将文字直接数值化，为了能够让计算机处理文字，我们需要将文字映射到一个数值空间。由于词是组成语义的基本单位，所以对词的表述就显得尤为重要，我们把词的数值（表征... ...
分类：
其他好文 时间：
2019-09-28 10:52:10
阅读次数：
82
word2vec
负采样
目标函数
反向梯度
层次softmax
NPLM的目标函数和反向梯度
目标函数
反向梯度
GNN(图神经网络)
deepwalk
node2vec
附录 ...
分类：
其他好文 时间：
2019-09-28 10:32:30
阅读次数：
132
在word2vec出现之前，自然语言处理经常把字词转为one-hot编码类型的词向量，这种方式虽然非常简单易懂，但是数据稀疏性非常高，维度很多，很容易造成维度灾难，尤其是在深度学习中；其次这种词向量中任意两个词之间都是孤立的，存在语义鸿沟（这样就不能体现词与词之间的关系）而有Hinton大神提出的D ...
分类：
其他好文 时间：
2019-09-16 09:45:20
阅读次数：
167
