意图识别与机器学习

标签：规范   dde   基础概念   str   技能   技术   top   net   包含   

意图识别

基础概念

识别文本中蕴含的主题和意图，是偏向于应用层的自然语言理解任务。篇章级别的意图识别，将其认为是一个模式识别（机器学习）的分类问题，意图分类。

流程

1. 意图定义
   定义的意图类别具有客观描述性、唯一性，标注规范方便理解，同一个模型中不同类别的意图不应该具有交叉、包含等关系，应该具有独立性，比如性别（男、女），比如新闻报道的主题性质（体育、经济、政治、军事）

2. 数据收集和标注
   按照定义的意图范围进行数据标注

3. 数据预处理
   英文——词干提取(cats转换为cat，effective转换为effect)；词性归并（eat,ate,eatein,eating）
   中文——分词；偏旁部首拆分；
   其他——去除噪声数据、停顿词（stopwords）、低频词、语气词

4. 特征提取

识别性能≈难度×特征×模型×数据：

1.意图定义的区分性强弱
2.建模方法的合理性
3.训练数据集合的质量（训练样本的规模、对各种场景覆盖度、标注正确性、与测试集合的匹配度）

机器学习

基础概念

机器学习（Machine Learning, ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，在经验学习中改善具体算法的性能。
是人工智能的核心，是使计算机具有智能的根本途径。
传统机器学习的研究方向主要包括决策树、随机森林（RF）、人工神经网络（Artificial Neural Networks，ANN）、贝叶斯学习等方面的研究。

常见算法

决策树算法
朴素贝叶斯算法
支持向量机算法
随机森林算法
人工神经网络算法
Boosting与Bagging算法
EM（期望最大化）算法
深度学习（DL，Deep Learning）：是机器学习（ML，Machine Learning）领域中一个新的研究方向

应用

数据分析、数据挖掘、生物数据解释、搜索技术、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术；
虚拟助手、交通预测、垃圾邮件信息恶意软件过滤

人工智能、机器学习、神经网络、深度学习的关系

实现人工智能的方法我们统称为机器学习；
深度学习是一种机器学习的技术；
深度学习是基于神经网络算法演变而来的，其实最开始只有神经网络算法
输入层和输出层之间加更多的”Hidden Layer“隐藏层，加的越多越”深“；传统的神经网络算法只有2-3层，再多层训练效果可能就不会再有比较大的提升，甚至会衰减。同时训练时间更长，甚至无法完成训练。但是Deep Learning可以有非常多层的“Hidden Layer”，并且效果很好。

意图识别与机器学习

标签：规范   dde   基础概念   str   技能   技术   top   net   包含   

原文地址：https://www.cnblogs.com/renana/p/14944148.html