一.概述 word2vec用于处理文本字符串，类似的功能如sklearn的CountVectorizer,TfidfVectorizer,HashingVectorizer CountVectorizer用每个词出现的次数做为向量的值，如特征空间内宫n个词，特征向量i中如果第j个word出现了n次则 ...
分类：
其他好文 时间：
2020-02-14 10:43:23
阅读次数：
73
BERT 预训练模型及文本分类 介绍 如果你关注自然语言处理技术的发展，那你一定听说过 BERT，它的诞生对自然语言处理领域具有着里程碑式的意义。本次试验将介绍 BERT 的模型结构，以及将其应用于文本分类实践。 知识点 语言模型和词向量 BERT 结构详解 BERT 文本分类 "BERT" 全称为 ...
分类：
其他好文 时间：
2020-02-08 17:37:21
阅读次数：
96
本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来说，运用感性直觉的思考来帮大家梳理Word2vec相关概念。 ...
分类：
其他好文 时间：
2020-02-06 21:38:38
阅读次数：
139
使用句子中出现单词的Vector加权平均进行文本相似度分析虽然简单，但也有比较明显的缺点：没有考虑词序且词向量区别不明确。如下面两个句子：“北京的首都是中国”与“中国的首都是北京”的相似度为1。“学习容易”和“学习困难”的相似度很容易也非常高。为解决这类问题，需要用其他方法对句子进行表示，LSTM是... ...
分类：
其他好文 时间：
2020-02-04 14:11:31
阅读次数：
99
2019 10 16 14:46:06 仅供学习使用 aijiaoai 人工智能主要应用 1. 图像识别 识别图片中的内容、对象。 KNN 卷积神经网络 2. 情感分析 分析文本中包含的 文本，是正面的、负面的、中性的。 文本的表示：词向量、TFIDF 文本预处理、清洗 分类算法，逻辑回归、决策树、 ...
分类：
其他好文 时间：
2020-02-02 21:39:26
阅读次数：
124
```# -*- coding: utf-8 -*-# author: huihui# date: 2020/1/31 7:58 下午 '''根据语料训练词向量，并保存向量文件'''import osimport sysimport gensimos.reload(sys)sys.setdefaul... ...
分类：
其他好文 时间：
2020-02-01 12:13:35
阅读次数：
199
一、介绍 内容 将接触现代 NLP 技术的基础：词向量技术。 第一个是构建一个简单的 N Gram 语言模型，它可以根据 N 个历史词汇预测下一个单词，从而得到每一个单词的向量表示。 第二个将接触到现代词向量技术常用的模型 Word2Vec。在实验中将以小说《三体》为例，展示了小语料在 Word2V ...
分类：
其他好文 时间：
2020-01-21 18:33:23
阅读次数：
133
一般使用transformers做bert finetune时，经常会编写如下类似的代码： 在BertModel(BertPreTrainedModel)中，对返回值outputs的解释如下： 这里的pooler_output指的是输出序列最后一个隐层，即CLS标签。查看forward函数的源码，最 ...
分类：
其他好文 时间：
2020-01-08 18:53:03
阅读次数：
637
【符号简介】 ———————————————————————— m——编码器的隐层神经元个数 n——输入序列词向量维度 p——解码器隐层神经元个数 q——输出序列词向量维度 v——词汇表大小 ———————————————————————— 【正文开始】 我们之前遇到的较为熟悉的序列问题，主要是利用 ...
分类：
其他好文 时间：
2019-12-30 00:12:17
阅读次数：
85
一、概述 训练语料来源：维基媒体 https://dumps.wikimedia.org/backup index.html 汉语数据 用word2vec训练词向量，并用所学得的词向量，计算 pku_sim_test.txt 文件中每行两个词间的余弦距离作为两词相似度，并输出到文件中。 二、数据准备 ...
分类：
编程语言 时间：
2019-12-27 23:35:37
阅读次数：
278
