本节课程主要讲述过拟合。 VC Dimension过大的时候会发生Bad Generalization，也就是Ein很低，但是Eout很高的情况。没有办法做举一反三的学习。 Ein越做越好，但是Eout却上升了。这种情况叫做过拟合。 欠拟合就是做的不好的情况，通过增加VC Dimension可以解决 ...
分类：
其他好文 时间：
2016-09-28 15:56:57
阅读次数：
213
过拟合（Overfitting）表现为在训练数据上模型的预测很准，在未知数据上预测很差。过拟合主要是因为训练数据中的异常点，这些点严重偏离正常位置。我们知道，决定SVM最优分类超平面的恰恰是那些占少数的支持向量，如果支持向量中碰巧存在异常点，那么我们傻傻地让SVM去拟合这样的数据，最后的超平面就不是 ...
分类：
其他好文 时间：
2016-09-23 19:56:31
阅读次数：
177
四、 How Can Machines Learn Better? 我个人感觉第四讲是整个基石课程的精髓所在，很多东西说的很深也很好。 首先是overfitting的问题，过拟合是一个常发生的情况，简单的理解就是下图，low Ein不一定是好事，因为我们的目的是low Eout。所以不能过拟合你的训 ...
分类：
其他好文 时间：
2016-09-23 14:47:59
阅读次数：
191
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）
正则化方法：防止过拟合，提高泛化能力
在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减...
分类：
其他好文 时间：
2016-07-19 10:39:32
阅读次数：
138
Coursera公开课笔记: 斯坦福大学机器学习第七课“正则化”
NLPJob
斯坦福大学机器学习第七课”正则化“学习笔记，本次课程主要包括4部分：
1)
The Problem of Overfitting(过拟合问题)
2) Cost Function(成本函数)
3) Regularized Linear Regression(线性回归的正则化...
分类：
其他好文 时间：
2016-07-03 01:50:44
阅读次数：
202
在机器学习或者模式识别中，会出现overfitting，而当网络逐渐overfitting时网络权值逐渐变大，因此，为了避免出现overfitting,会给误差函数添加一个惩罚项，常用的惩罚项是所有权重的平方乘以一个衰减常量之和。其用来惩罚大的权值。 The learning rate is a p ...
分类：
其他好文 时间：
2016-05-29 23:11:54
阅读次数：
2902
正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出 ...
分类：
其他好文 时间：
2016-05-13 20:37:39
阅读次数：
174
我们之前解决过一个理论问题：机器学习能不能起作用？现在来解决另一个理论问题：过度拟合。 正如之前我们看到的，很多时候我们必须进行nonlinear transform。但是我们又无法确定Q的值。Q过小，那么Ein会很大；Q过大，就会出现过度拟合问题。如下图所示： 那么overfitting具体受什么 ...
分类：
其他好文 时间：
2016-05-08 11:39:15
阅读次数：
205
今天这个比赛结束了，结果可以看：https://www.kaggle.com/c/santander-customer-satisfaction/leaderboard
public结果：
private结果：
首先对比private和public的结果，可以发现：
1）几乎所有的人都overfitting了；或者说private的另一半测试...
分类：
其他好文 时间：
2016-05-03 12:45:19
阅读次数：
1456
（一）局部加权回归 通常情况下的线性拟合不能很好地预测所有的值，因为它容易导致欠拟合（under fitting）。如下图的左图。而多项式拟合能拟合所有数据，但是在预测新样本的时候又会变得很糟糕，因为它导致数据的 过拟合（overfitting），不符合数据真实的模型。如下图的右图。 下面来讲一种非 ...
分类：
编程语言 时间：
2016-04-21 01:09:40
阅读次数：
369
