本文采用 正规方程 、 梯度下降 、 带有正则化的岭回归 三种方法对BOSTON房价数据集进行分析预测，比较三种方法之间的差异 正规方程求解方式回归系数 [[ 0.10843933 0.13470414 0.00828142 0.08736748 0.2274728 0.25791114 0.018 ...
分类：
其他好文 时间：
2019-11-27 23:11:20
阅读次数：
155
一、正则化与偏差-方差分解 Regularization：减少方差的策略 误差可分解为：偏差，方差与噪声之和，即误差 = 偏差 + 方差 + 噪声之和 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画 ...
分类：
其他好文 时间：
2019-11-21 23:19:49
阅读次数：
224
1.摘要： 尽管近来生成图片模型取得了进步，成功生成了高分辨率的图片，但是在复杂的数据集中，样本的多样性仍然是难以捉摸的目标。本文尝试在大规模上训练生成对抗网络，并研究这种规模下的不稳定性。我们发现将正交正则化应用于生成器使其能够适应简单的‘截断处理，允许通过减少生成器输入的方差来精细的控制样本保真 ...
分类：
其他好文 时间：
2019-11-21 13:45:13
阅读次数：
105
1.过拟合问题 对于过拟合问题，通常原因是模型选择太过复杂，也有可能是训练数据太少。对于模型太复杂的情况，我们一般有如下考虑：一是通过分析删除部分特征（比如重复多余的特征或者对输出值贡献不太大的特征），但是这样有可能会损失一部分信息。所以，我们可以通过正则化的方法来降低参数值，从而避免过拟合问题。对 ...
分类：
其他好文 时间：
2019-11-13 13:25:46
阅读次数：
87
1、L 层神经网络正则化： （1）L2 正则化： （2）为什么正则化可以避免过拟合？ 当 lambda 足够大时，最小化 J 时，就会使得权重矩阵 w 趋近于0，神经网络简化为高偏差状态： lambda 较大，w 较小，由 z = w * a + b，z 也较小，以 tanh 函数为例： 当 z 在 ...
分类：
其他好文 时间：
2019-11-09 00:43:36
阅读次数：
125
预期逻辑顺序： 最小二乘原理（大约一小段） 最小二乘历史由来， 最小二乘法公式形式（以一次函数为例） 最小二乘估计分析 最小二乘性质，特点 高斯分布 t分布 加入正则化的考量（Hilbert空间，kernel方法，表示定理） 拉普拉斯正则化最小二乘 以上大致框架，回头慢慢补细节 涉及知识，概率论数理 ...
分类：
其他好文 时间：
2019-10-26 01:11:22
阅读次数：
105
[toc] 过拟合 机器学习中，如果参数过多、模型过于复杂，容易造成过拟合。 结构风险最小化原理 在经验风险最小化（训练误差最小化）的基础上，尽可能采用简单的模型，以提高模型泛化预测精度。 正则化 为了避免过拟合，最常用的一种方法是使用正则化，例如L1和L2正则化。 所谓的正则化，就是在原来损失函数 ...
分类：
其他好文 时间：
2019-10-24 09:52:40
阅读次数：
96
机器学习 正则化（岭回归、lasso）和前向逐步回归 本文代码均来自于《机器学习实战》 这三种要处理的是同样的问题，也就是数据的特征数量大于样本数量的情况。这个时候会出现矩阵不可逆的情况，为什么呢？ 矩阵可逆的条件是：1. 方阵 2. 满秩 X.t\ X必然是方阵（nxmxmxn=nxn,最终行列数 ...
分类：
其他好文 时间：
2019-10-19 14:43:12
阅读次数：
101
图像恢复的MAP推理公式： $\hat{x}\text{}=\text{}$arg min$_{x}\frac{1}{2}||\textbf{y}\text{}-\text{}\textbf{H}x||^{2}\text{}+\text{}\lambda\Phi(x)$ 正则化项$\Phi(x)$对 ...
分类：
其他好文 时间：
2019-10-14 10:32:15
阅读次数：
102
最近学习了一下ResNet50模型，用其跑了个Kaggle比赛，并仔细阅读了其Keras实现。在比赛中，我修改了一下源码，加入了正则项，激活函数改为elu， 日后的应用中也可以直接copy 使用之。 ResNet50 的结构图网上已经很多了，例如这篇博文：https://blog.csdn.net/ ...
分类：
Web程序 时间：
2019-10-08 23:51:56
阅读次数：
264
