一、选题与意义 1.Hadoop平台应用 √ 2.Kaggle分析数据项目 简要说明理由与意义。 答：分布式系统，大数据。进行map reduce 进行数据挖掘 因而适应你的文本分类的需求 二、实践方案 简要说明理由。 三、实践任务分解 根据所选的题目，明确实验步骤，分解任务到每天。 四、实践计划 ...
分类：
其他好文 时间：
2020-06-23 21:15:29
阅读次数：
74
一、NLP的研究任务 机器翻译； 情感分析； 智能问答； 文摘生成； 文本分类：采集各种文章，进行主题分析，从而进行自动分类； 舆论分析； 知识图谱：知识点相互连接而成的语义网络。 二、基本术语 分词； 词性标注：对动词、名词、形容词等进行词性标注。eg：我/r 爱/v 北京/ns 天安门/ns； ...
分类：
其他好文 时间：
2020-06-23 01:13:11
阅读次数：
89
什么是文本分类 文本分类任务是NLP十分常见的任务大类，他的输入一般是文本信息，输出则是预测得到的分类标签。主要的文本分类任务有主题分类、情感分析 、作品归属、真伪检测等，很多问题其实通过转化后也能用分类的方法去做。 常规步骤 选择一个感兴趣的任务 收集合适的数据集 做好标注 特征选择 选择一个机器 ...
分类：
其他好文 时间：
2020-06-19 20:33:25
阅读次数：
70
算法原理 朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。 该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。 但由于该算法以自变量之间的独立（条件特征独立）性和连续变 ...
分类：
编程语言 时间：
2020-06-17 20:14:27
阅读次数：
73
目录 textRNN简介 textRNN网络结构 总结 一句话简介：textRNN指的是利用RNN循环神经网络解决文本分类问题，通常使用LSTM和GRU这种变形的RNN，而且使用双向，两层架构居多。 一、textRNN简介 这里的文本可以一个句子，文档(短文本，若干句子)或篇章(长文本)，因此每段文... ...
分类：
其他好文 时间：
2020-06-17 01:58:03
阅读次数：
72
目录 LDA概述 基础知识 LDA主题模型 总结 一句话简述：2003年提出的，LDA是一种无监督的词袋式隐含主题模型，LDA给出文档属于每个主题的概率分布，同时给出每个主题上词的概率分布。在文本主题识别、文本分类、文本相似度计算和文章相似推荐等方面都有应用。 一、LDA概述 在机器学习领域，LDA... ...
分类：
其他好文 时间：
2020-06-16 20:19:05
阅读次数：
50
目录 fastText概述 基础知识 LDA主题模型 总结 一句话简述：fastText提出了子词嵌入(subword embedding)的方法。是一种监督学习方法。和word2vec 中的CBOW结构很相似。运行速度较快。 一、fastText概述 1.1 背景 在word2vec中，我们并没有... ...
分类：
编程语言 时间：
2020-06-16 20:14:28
阅读次数：
76
问题定义 在这个项目中会采用20 Newgroups的数据（http://qwone.com/~jason/20Newsgroups/)，这时网上非常流行的对文本进行分类和聚类的数据集。 数据集中的数据分为两部分，一部分是用来训练算法模型的数据，一部分是用来评估算法的新数据。 网上提供了3个数据集， ...
分类：
系统相关 时间：
2020-06-13 10:32:48
阅读次数：
56
什么是文本分类 给模型输入一句话，让模型判断这句话的类别（预定义）。 以文本情感分类为例 输入：的确是专业，用心做，出品方面都给好评。输出：2输出可以是[0,1,2]其中一个，0表示情感消极，1表示情感中性，2表示情感积极。 数据样式 网上应该能找到相关数据。 模型图 训练过程 仅仅作为测试训练一轮 ...
分类：
其他好文 时间：
2020-05-26 18:12:52
阅读次数：
201
一、算法简介 1、原理 Bag-of-Words模型源于文本分类技术，在信息检索中，它假定对于一个文本，忽略其词序和语法、句法。Bag-of-words词袋模型最初被用在信息检索领域，对于一篇文档来说，假定不考虑文档内的词的顺序关系和语法，只考虑该文档是否出现过这个单词。 Bag-of-Featur ...
分类：
其他好文 时间：
2020-05-25 00:03:23
阅读次数：
66
