摘要：人工智能在数据密集型应用中取得了成功，但它缺乏从有限的示例中学习的能力。为了解决这一问题，提出了少镜头学习（FSL）。利用先验知识，可以快速地从有限监督经验的新任务中归纳出来。为了全面了解FSL，我们进行了一项调查研究。我们首先要澄清对FSL的正式定义。进而得出不可靠经验风险最小化是FSL的核 ...
分类：
其他好文 时间：
2019-12-04 23:50:41
阅读次数：
546
[toc] 过拟合 机器学习中，如果参数过多、模型过于复杂，容易造成过拟合。 结构风险最小化原理 在经验风险最小化（训练误差最小化）的基础上，尽可能采用简单的模型，以提高模型泛化预测精度。 正则化 为了避免过拟合，最常用的一种方法是使用正则化，例如L1和L2正则化。 所谓的正则化，就是在原来损失函数 ...
分类：
其他好文 时间：
2019-10-24 09:52:40
阅读次数：
96
CH02 感知机 前言 章节目录 导读 感知机是二类分类的线性分类模型。 $L(w,b)$的经验风险最小化 本章中涉及到向量内积，有超平面的概念，也有线性可分数据集的说明，在策略部分有说明损关于失函数的选择的考虑，可以和CH07一起看。 本章涉及的两个例子，思考一下为什么$\eta=1$，进而思考一 ...
分类：
其他好文 时间：
2018-11-10 19:07:08
阅读次数：
174
特征选择 本节将接着上一讲，并结束掉经验风险最小化一章，之后讨论特征选择等相关问题。 无限情况下的 我们在假设集合内假设有限的情况下已经证明了一些有用的理论。但是，很多假设集合，内部的参数都是实数(比如线性回归)即假设集合中包含了无数多个假设。那么，我们能否得到类似的结论呢？ 首先，我们讨论一下不是... ...
分类：
其他好文 时间：
2018-11-04 17:10:19
阅读次数：
157
一、经验风险最小化 1、有限假设类情形 对于Chernoff bound 不等式，最直观的解释就是利用高斯分布的图象。而且这个结论和中心极限定律没有关系，当m为任意值时Chernoff bound均成立，但是中心极限定律不一定成立。 随着 模型复杂度 （如多项式的次数、假设类的大小等）的增长， 训练 ...
分类：
其他好文 时间：
2018-04-03 14:29:26
阅读次数：
173
线性回归 训练模型表示通过有标签样本来学习（确定）所有权重和偏差的理想值。在监督式学习中，机器学习算法通过以下方式构建模型：检查多个样本并尝试找出可最大限度地减少损失的模型；这一过程称为经验风险最小化。 均方误差 (MSE) 指的是每个样本的平均平方损失。要计算 MSE，请求出各个样本的所有平方损失 ...
分类：
其他好文 时间：
2018-03-07 00:58:51
阅读次数：
162
偏差方差权衡(bias variance trade off) 偏差：如果说一个模型欠拟合，也可以说它的偏差很大。 方差：如果说一个模型过拟合，也可以说它的方差很大。 训练误差 经验风险最小化(ERM) 选择参数，使得训练误差最小化，即 假设类H:所有假设构成的集合。 ERM的目标也可以写成选择假设 ...
分类：
其他好文 时间：
2018-02-04 19:29:32
阅读次数：
192
第六部分内容： 1.偏差/方差（Bias/variance） 2.经验风险最小化（Empirical Risk Minization，ERM） 3.联合界（Union bound） 4.一致收敛（Uniform Convergence） ...
分类：
其他好文 时间：
2017-11-04 00:17:29
阅读次数：
145
统计学习方法由三个要素组成：方法=模型+策略+算法 模型是针对具体的问题做的假设空间，是学习算法要求解的参数空间。例如模型可以是线性函数等。 策略是学习算法学习的目标，不同的问题可以有不同的学习目标，例如经验风险最小化或者结构风险最小化。 经验风险最小化中常见的损失函数有：0-1损失函数、残差损失函 ...
分类：
其他好文 时间：
2017-08-31 16:46:53
阅读次数：
168
VC维在有限的训练样本情况下，当样本数 n 固定时。此时学习机器的 VC 维越高学习机器的复杂性越高。VC 维反映了函数集的学习能力，VC 维越大则学习机器越复杂(容量越大)。 所谓的结构风险最小化就是在保证分类精度（经验风险）的同一时候，减少学习机器的 VC 维，能够使学习机器在整个样本集上的期望 ...
分类：
其他好文 时间：
2017-08-16 23:13:58
阅读次数：
188
