监督学习方法总结

标签：math   特点   最大化   直接   决策   style   类别   迭代   约束   

Reference：李航 --《统计学习方法》

10 种主要的统计学习方法概括总结

EM 算法是个一般算法，不具有具体模型

监督学习可以认为是学习一个模型，使它能对给定的输入预测相应的输出。

监督学习包括 分类、标注、回归

分类问题是从实例的特征向量到类标记的预测问题，标注问题是从观测序列到标记序列（或状态序列）的预测问题

适用问题：

分类方法：感知机、k 近邻、朴素贝叶斯、决策树、逻辑斯蒂回归与最大熵模型、支持向量机、提升方法

其中 感知机、支持向量机、提升方法 是针对二分类，但可以将它们扩展到多类分类

标注方法：隐马尔可夫模型、条件随机场

EM 算法 ：含有隐变量的概率模型的一般学习算法，可以用于生成模型的无监督学习

特点：

感知机、k 近邻、朴素贝叶斯、决策树 是简单的分类方法，具有模型直观、方法简单、实现容易等特点

逻辑斯蒂回归与最大熵模型、支持向量机、提升方法 是更复杂但更有效的分类方法，往往分类准确率很高

隐马尔可夫模型、条件随机场 是主要的标记方法，且条件随机场往往准确率更高

模型

分类和标注都可以认为是表示从输入空间到输出空间的映射。它们可以写成条件概率分布 P（Y|X） 或决策函数 Y = f（X），前者表示给定输入条件下输出的概率模型，后者表示输入到输出的非概率模型

概率模型：朴素贝叶斯、隐马尔可夫模型

非概率模型：感知机、k 近邻、支持向量机、提升方法

决策树、逻辑斯蒂回归与最大熵模型、条件随机场 即可以看作是概率模型又可以看作非概率模型

判别方法（判别模型）：直接学习条件概率分布 P(Y|X) 或决策函数 Y = f（X）

有 感知机、k 近邻、决策树、逻辑斯蒂回归与最大熵模型、支持向量机、提升方法、条件随机场

生成方法（生成模型）：首先学习联合概率分布 P（X, Y）,从而求得条件概率分布 P(Y|X)

有 朴素贝叶斯、隐马尔可夫模型

线性模型：感知机

对数线性模型：逻辑斯蒂回归与最大熵模型、条件随机场

非线性模型：k 近邻、决策树、支持向量机（包括核函数）、提升方法

学习策略：

在二类分类的监督学习中，支持向量机、逻辑斯蒂回归与最大熵模型、提升方法各自使用的损失函数分别为 合页损失函数、逻辑斯蒂损失函数、指数损失函数：

这三种损失函数都是 0-1 损失函数的上界，具有相似的形状

学习算法：

统计学习的问题有了具体的形式后，就变成了最优化问题。

若最优化问题有解析解，最优解可通过公式简单计算；若没有解析解，则需要用数值计算的方法或启发式的方法求解

• 公式计算：朴素贝叶斯、隐马尔可夫模型 的最优解即极大似然估计值，可以由概率计算公式直接计算

• 无约束问题求解：感知机、逻辑斯蒂回归与最大熵模型、条件随机场 的学习利用梯度下降法、拟牛顿法进行求解

• 凸二次规划的对偶问题：支持向量机 的学习。可通过 序列最小最优化算法等方法

• 启发式：决策树 的学习。可通过 特征选择、生成、剪枝等启发式地进行正则化的极大似然估计

  ? 提升方法 利用学习的模型是加法模型、损失函数是指数损失函数的特点，启发式地从前向后逐步学 习模型，以达到逼近最优化目标函数的目的

• 迭代求解：EM 算法的求解含隐变量概率模型参数的方法，它的收敛性可以保证，但是不能保证收敛到全局最

  ? 优

凸优化问题：支持向量机、逻辑斯蒂回归与最大熵模型、条件随机场 的学习，全局最优解保证存在，而其他学习问题则不是凸优化问题

监督学习方法总结

标签：math   特点   最大化   直接   决策   style   类别   迭代   约束   

原文地址：https://www.cnblogs.com/alivinfer/p/13254521.html