1、最大熵模型 最大熵模型描述的是这么一种情况，即在有约束条件的情况下，如何得到最好的模型。我们先来考虑如果没有约束的条件下，如何获得最好的模型，举个栗子，比如一个骰子，有6个面，转一次，求每个面的概率，根据经验，每个面的概率是1/6，这其实就是我们让整个系统熵最大。 那么什么是在有约束条件下概率最 ...
分类：
其他好文 时间：
2020-05-23 13:16:03
阅读次数：
54
1.概述 erine是一种自然语言处理的预训练模型，对自然语言推理，命名实体识别，文本分类有很好的效果。 2.模型结构 3.模型结构 1).Transformer Encoder 该模型使用多层Transformer作为基本编码器，与其他预训练类似GPT、BERT等模型。Transformer可以捕 ...
分类：
其他好文 时间：
2020-05-19 00:58:52
阅读次数：
91
文本分类实现步骤： 1. 定义阶段：定义数据以及分类体系，具体分为哪些类别，需要哪些数据 2. 数据预处理：对文档做分词、去停用词等准备工作 3. 数据提取特征：对文档矩阵进行降维、提取训练集中最有用的特征 4. 模型训练阶段：选择具体的分类模型以及算法，训练出文本分类器 5. 评测阶段：在测试集上 ...
分类：
其他好文 时间：
2020-05-15 00:17:01
阅读次数：
75
背景 文本分类属于文本挖掘。文本挖掘从已知文本提取未知的知识，即从非结构的文本中提取知识。文本挖掘主要领域：搜索和信息检索；文本聚类；文本分类；Web挖掘；信息抽取；自然语言处理；概念提取。[1] 搜索和信息检索：存储和文本文档的检索，包括搜索引擎和关键字搜索。 文本聚类：使用聚类方法，对词汇，片段 ...
分类：
其他好文 时间：
2020-05-14 23:50:55
阅读次数：
113
1.IMDB数据集 下载 imdb=keras.datasets.imdb (train_x, train_y), (test_x, text_y)=keras.datasets.imdb.load_data(num_words=10000) 了解IMDB数据 print("Training ent ...
分类：
其他好文 时间：
2020-05-12 12:03:44
阅读次数：
146
1、DCNN模型 DCNN是由Nal Kalchbrenner[1]等人于2014年提出的一种算法，其利用CNN模型将输入进行卷积操作，并利用K MAX pooling操作，最终将变长的文本序列输出为定长的序列，这种方式能够获取短文本和长文本之间的关系。文章在4个数据集进行了测试。 DCNN模型结构 ...
分类：
其他好文 时间：
2020-05-06 12:13:09
阅读次数：
87
1.理论 https://zhuanlan.zhihu.com/p/25928551 关键是你要总结住啊。任何技术都有它关键的点，创新点吧或者有效点，这点你要知道你要掌握。 2.论文《Bag of Tricks for Efficient Text Classification》 概览：模型直接学习 ...
分类：
其他好文 时间：
2020-05-05 00:54:14
阅读次数：
67
朴素贝叶斯算法 优点： 算法原理和实现简单，常用于文本分类。 对小规模数据表现很好，适合多分类增量式训练任务。 对缺失数据不太敏感。 缺点： 对输入数据的表达形式很敏感 需要计算先验概率，分类决策存在错误率 要求样本之间相互独立，这就是“朴素”的意思，这个限制有时很难做到，或使用者误以为符合而造成错 ...
分类：
编程语言 时间：
2020-04-16 12:56:44
阅读次数：
79
本文参考原文 http://bjbsair.com/2020 03 25/tech info/6304/ 传统文本分类 之前介绍的都是属于深度神经网络框架的，那么在Deep Learning出现或者风靡之前，文本分类是怎么做的呢？ 传统的文本分类工作主要分为三个过程：特征工程、特征选择和不同分类机器 ...
分类：
其他好文 时间：
2020-03-26 09:26:12
阅读次数：
65
本文参考原文 http://bjbsair.com/2020 03 25/tech info/6300/ 写在前面 今天的教程是基于FAIR的Bag of Tricks for Efficient Text Classification[1]。也就是我们常说的fastText。 最让人欣喜的这篇论文 ...
分类：
其他好文 时间：
2020-03-26 09:18:31
阅读次数：
80
