训练集上训练的模型在多大程度上能够对新的实例预测出正确输出称为泛化（generalization）
对最好的泛化来说，我们应当使假设的复杂性和潜在数据的函数的复杂性相匹配。如果假设没有函数复杂，例如，当试图用直线拟合从三次项式抽取的数据时，称为欠拟合（underfitting）。在这种情况下，随着复杂性的增加，训练误差和确认误差都会降低，但是，如果我们假设太浮渣，数据不足以约束该假设，我们最后也许得不到好的假设。或者如果存在噪声，则过分书杂的假设可能不仅学习潜在的函数，而且也学习数据中的噪声导致很差的拟合，称为过拟合（overfitting）
我们可以引用三元权衡（triple trade-off）来总结以上的讨论。在所有的有实例数据训练的学习算法中，存在以下三种因素之间的平衡：
拟合数据的假设的复杂性，即假设类（hypothesis class）的能力
训练数据的总量
在新的实例上的泛化误差
随着训练数据量的增加，泛化误差降低。随着模型复杂性的增加，泛化误差先降低，然后开始增加。过于复杂的假设的泛化可以通过增加训练数据的总量来控制，但是只能达到一定程度。
在学习第二章的过程中，刚开始被各种概念弄的头大，还有各种概念之间的隶属关系。但是看几次就会发现，其实没什么，只是不得不引入那么多数学符号才能把问题说的系统、清晰一点。知识点都是以前概率论矩阵之类的基础知识，只不过重新组合一下，到目前为止还不难。
本章大概介绍了一下监督学习的分类和回归。
从离散数据到连续数据，把这两者的关系疏离了一下。
《机器学习导论》第二章 监督学习 学习笔记,布布扣,bubuko.com
原文地址：http://www.cnblogs.com/zjjsxuqiang/p/3732876.html
