一、基本术语 1.18泛化：学得模型是否适用于新样本的能力 注：假设样本空间的全体样本服从于一个未知的分布D，我们得到的样本都是独立从D上采样得到的，即“独立同分布”。训练样本越多，地道道关于D的信息越多，也就也可能通过学习得到强泛化能力的模型 1.19归纳：从特殊到一般的“泛化”过程 1.20演绎 ...
分类：
其他好文 时间：
2020-07-21 01:21:58
阅读次数：
82
提升的概念 提升算法 提升算法推导 梯度提升决策树 决策树的描述 正则项的定义 目标函数的计算 目标函数继续化简 子树划分 Adaboost 误差上限 方差与偏差 Bagging能够减少训练方差，对于不剪枝的决策树、神经网络等学习器有良好的集成效果 Boosting减少偏差，能够基于泛化能力较弱的学 ...
分类：
其他好文 时间：
2020-07-15 01:15:23
阅读次数：
72
AlexNet是2012年ImageNet比赛的冠军，将卷积神经网络重新拉入大众视野；AlexNet取得较大突破（创新点）：（1）使用了relu非线性激活函数，网络训练时收敛速度更快；（2）标准归一化LRN，活跃的神经元对它周边神经元的抑制，有助于增长泛化能力；（3）Dropout函数，通过修改神经 ...
分类：
Web程序 时间：
2020-07-14 20:07:05
阅读次数：
86
BN解决方差漂移理论 训练集的数据分布和预测集的数据分布不一致，这样的情况下如果我们在训练集上训练出一个分类器，肯定在预测集上不会取得比较好的效果。这种训练集和预测集样本分布不一致的问题就叫做“covariate shift”现象 训练集和测试集的数据分布不一致，因此训练出来的模型是没有泛化能力的 ...
分类：
其他好文 时间：
2020-07-10 19:12:42
阅读次数：
45
机器学习领域有个很重要的假设：独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。神经网络学习过程本质上是为了学习数据的分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另一方面，一旦在mini-batch ...
分类：
其他好文 时间：
2020-07-10 11:32:44
阅读次数：
57
模型估计与模型选择 模型估计 当损失函数给定时，基于损失函数的模型的训练误差和模型的测试误差就成为了学习方法评估的标准。测试误误差反映了学习方法对未知的测试数据集的预测能力，又被称为泛化能力。 过拟合：一味的追求提高训练数据的预测能力，所选模型的复杂度则往往会比真模型更高，但会造成过拟合。为了防止过 ...
分类：
其他好文 时间：
2020-05-23 09:56:42
阅读次数：
46
交叉验证 交叉验证可以用来估计一个模型的泛化能力，如果一个模型在训练集上表现良好，通过交叉验证指标却得出其泛化能力很差，那么模型就是 过拟合 了；如果这两个方面表现的都不好，那么它就是 欠拟合 了，这个方法可以告诉我们，模型是太复杂还是太简单了 观察学习曲线 另一种方法就是观察学习曲线，画出模型在训 ...
分类：
其他好文 时间：
2020-05-15 00:06:46
阅读次数：
69
逻辑回归、正则化、感知机 正则化 为避免过拟合，增强模型的泛化能力，可以使用正则化的方法。 1. Lasso回归 L1正则化 $$ J(\theta)=\frac{1}{2n}(\mathtt X\theta Y)^T(\mathtt X\theta Y)+\alpha\lVert \theta\r ...
分类：
其他好文 时间：
2020-05-13 16:36:28
阅读次数：
60
https://www.jb51.net/article/178934.htm 在使用深度学习对图像进行训练时，对图像进行随机旋转有助于提升模型泛化能力。然而之前在做旋转等预处理工作时，都是先对图像进行旋转后保存到本地，然后再输入模型进行训练，这样的过程会增加工作量，如果图片数量较多，生成旋转的图像 ...
分类：
其他好文 时间：
2020-05-10 19:22:20
阅读次数：
79
1 泛化误差 学习方法的泛化能力(generalization ability)是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质重要的性质。 泛化误差反映了学习方法的泛化能力，如果一种方法学习的模型比另一种方法学习的模型具有更小的泛化误差，那么这种方法就更有效。事实上，泛化误差就是所学习 ...
分类：
其他好文 时间：
2020-05-03 20:06:49
阅读次数：
134
