在设计Machine Learning系统时，我们很难从系统运行之前就得知系统的“复杂程度”。在线性回归中，我们可以将此问题等同为：使用几维参数，是否需要涉及更复杂的多项式，以及本文的一个新概念—Regularization Parameter。本文，将讨论Underfit，Overfit基本理论， ...
分类：
其他好文 时间：
2019-03-03 14:38:52
阅读次数：
198
一. 正则化概述 正则化（Regularization），L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作?1-norm和?2-norm，中文称作L1正则化和L ...
分类：
其他好文 时间：
2019-02-19 18:51:03
阅读次数：
221
原文链接：https://developers.google.com/machine-learning/crash-course/regularization-for-simplicity 1- L? 正则化 泛化曲线：显示的是训练集和验证集相对于训练迭代次数的损失。 如果说某个模型的泛化曲线显示： ...
分类：
其他好文 时间：
2019-01-22 00:32:45
阅读次数：
254
以kaggle上的House Prices: Advanced Regression Techniques为例讲述线性回归 1、回归模型 （1）一般线性回归：Linear Regression without regularization （2）岭回归：Linear Regression with ...
分类：
其他好文 时间：
2019-01-13 21:14:38
阅读次数：
170
正则化方法：防止过拟合，提高泛化能力 避免过拟合的方法有很多：Early stopping、数据集扩增（Data augmentation）、正则化（Regularization）包括L1、L2（L2 regularization也叫weight decay），dropout。 L2 regular ...
分类：
其他好文 时间：
2018-12-23 16:52:23
阅读次数：
133
1. 机器学习流程简介 1）一次性设置（One time setup） - 激活函数（Activation functions） - 数据预处理（Data Preprocessing） - 权重初始化（Weight Initialization） - 正则化（Regularization：避免过拟合 ...
分类：
其他好文 时间：
2018-12-17 23:58:21
阅读次数：
589
【论文标题】 Stochastic PCA with ?2 and ?1 Regularization （ICML 2018） 【论文作者】—Poorya Mianjy (Johns Hopkins University )，Raman Arora (Johns Hopkins University ...
分类：
其他好文 时间：
2018-11-27 19:21:25
阅读次数：
207
1、basic choice （1）通过一定的方式来缩小权重 （2）通过一定的方式将部分权重置为0 （3）weight-elimination regulizer 2、Early Stoppping Early stopping方法可以控制VC dimension的大小，具体可结合validatio ...
分类：
其他好文 时间：
2018-11-06 19:41:59
阅读次数：
251
恢复内容开始 在机器学习中，有时候我们基于一个数据集训练的模型对该模型的正确率非常高，而该模型对没有见过的数据集很难做出正确的响应；那么这个模型就存在过拟合现象。 为了缓解或避免过拟合现象，我们通常用的方法是采用正则化方法（Regularization）。 1 正则化基本理解 1.1 正则化公式的引 ...
分类：
其他好文 时间：
2018-11-03 20:21:45
阅读次数：
126
MAP：最大后验概率（Maximum a posteriori） 估计方法根据经验数据获得对难以观察的量的点估计。它与最大似然估计中的 Fisher方法有密切关系， 但是它使用了一个增大的优化目标，这种方法将被估计量的先验分布融合到其中。所以最大后验估计可以看作是规则化（regularization ...
分类：
其他好文 时间：
2018-10-16 19:24:39
阅读次数：
125
