一、旧版本的神经网络表示词向量 将每个词表示成$m$维的向量，用$v(w)$表示，整个网络分为4层，分别为输入层，投影层，隐藏层，输出层。 输入层：取一个大小为n的窗口表示输入，用1~(n-1)个词来预测第n个词的生成概率。 投影层：将每个词映射为m维向量，将这些词向量拼接为一个(n-1)m的长向量 ...
分类：
其他好文 时间：
2018-10-03 20:32:57
阅读次数：
212
词向量作为文本的基本结构——词的模型，以其优越的性能，受到自然语言处理领域研究人员的青睐。良好的词向量可以达到语义相近的词在词向量空间里聚集在一起，这对后续的文本分类，文本聚类等等操作提供了便利，本文将详细介绍如何使用word2vec构建中文词向量。 一、中文语料库 本文采用的是搜狗实验室的搜狗新闻 ...
分类：
其他好文 时间：
2018-09-23 16:22:44
阅读次数：
338
ENSEMBLE： ensemble methods（组合方法）机器学习里面指几种算法的组合在一起的方法。也叫融合学习，集合方法等。 WORD2VEL：word embeddings“词向量”，将自然语言中的字词转为计算机可以理解的稠密向量（Dense Vector）。 RESCALING:再缩放， ...
分类：
其他好文 时间：
2018-09-22 21:54:38
阅读次数：
234
文章1 Generative and Discriminative Text Classification with Recurrent Neural Networks 时间：2017 机构：Google DeepMind 生成模型：generative 判别模型：discrimination 作者 ...
分类：
其他好文 时间：
2018-09-08 17:40:43
阅读次数：
337
Word2Vec 词向量的稠密表达形式（无标签语料库训练） Word2vec中要到两个重要的模型，CBOW连续词袋模型和Skip-gram模型。两个模型都包含三层：输入层，投影层，输出层。 1.Skip-Gram神经网络模型（跳过一些词） skip-gram模型的输入是一个单词wI，它的输出是wI的 ...
分类：
其他好文 时间：
2018-09-06 23:06:01
阅读次数：
315
特征分类 对特征进行分类，对于不同的特征应该有不同的处理方法。 根据不同的分类方法，可以将特征分为 (1)Low level特征和High level特征。 Low level特征——较低级别的特征，主要是原始特征，不需要或者需要非常少的人工处理和干预。 例如文本特征中的词向量特征，图像特征中的像素 ...
分类：
其他好文 时间：
2018-09-05 21:46:36
阅读次数：
228
导读 最近在做中文词向量相关工作，其中看了一些中文词向量的相关论文，在这篇文章，将把近几年的中文词向量进展及其模型结构加以简述，大概要写3 4篇综述，每篇包含2 3篇论文。续 "中文词向量论文综述（二）" 。 一、Learning Chinese Word Representations From ...
分类：
其他好文 时间：
2018-08-16 10:34:35
阅读次数：
327
一、概述 在上一篇中，我们介绍了Word2Vec即词向量，对于Word Embeddings即词嵌入有了些基础，同时也阐述了Word2Vec算法的两个常见模型 ：Skip-Gram模型和CBOW模型，本篇会对两种算法做出比较分析并给出其扩展模型-GloVe模型。 首先，我们将比较下原Skip-gra ...
分类：
编程语言 时间：
2018-08-11 21:54:04
阅读次数：
302
1 Word meaning 1. 1 word meaning的两种定义 Definition meaning：单词的含义指代了客观存在的具体事物，如眼镜。 Distributional similarity meaning：上下文代表了单词的含义，如下： Distributional simil ...
分类：
其他好文 时间：
2018-07-23 00:56:16
阅读次数：
166
总览 用途：文本分类 优点：在精度上与深度学习的方法媲美，但更高效，速度快多个数量级。 模型结构 fastText的结构：输入为一个句子的N个词(ngram)的向量表示，训练之前此向量可利用随机数进行初始化，随后将这些词向量加权平均得到对应文本的向量表示；输出为文本对应的标签。此模型结构与CBOW很 ...
分类：
其他好文 时间：
2018-07-12 20:15:49
阅读次数：
168
