一、什么是OverFitting 我们说一个模型，他可以非常完美的拟合既定的训练数据，也就是代价（损失）函数，但是对于新的数据，却不能很好的拟合，也就是不适应于泛化，这样我们就称模型过拟合(over fitting)，如下图第三个图所示。此外，还有欠拟合(under fitting)，也就是连训练数... ...
分类：
其他好文 时间：
2017-03-17 00:31:39
阅读次数：
225
一、正则化应用于基于梯度下降的线性回归 上一篇文章我们说过，通过正则化的思想，我们将代价函数附加了一个惩罚项，变成如下的公式： 那么我们将这一公式套用到线性回归的代价函数中去。我们说过，一般而言θ0我们不做处理，所以我们把梯度下降计算代价函数最优解的过程转化为如下两个公式。 我们通过j>0的式子，能... ...
分类：
其他好文 时间：
2017-03-17 00:12:37
阅读次数：
214
Overfitting and regularization（过度拟合和规范化） 我们的网络在280迭代期后就不再能够推广到测试数据上。所以这不是有用的学习。我们说网络在280迭代期后就过度拟合(overfitting)或过度训练（overtraining）了。 我们的网络实际上在学习训练数据集的特 ...
分类：
Web程序 时间：
2017-03-15 14:34:01
阅读次数：
268
我们将讨论逻辑回归。 逻辑回归是一种将数据分类为离散结果的方法。 例如，我们可以使用逻辑回归将电子邮件分类为垃圾邮件或非垃圾邮件。 在本模块中，我们介绍分类的概念，逻辑回归的损失函数（cost functon），以及逻辑回归对多分类的应用。 我们还涉及正规化。 机器学习模型需要很好地推广到模型在实践 ...
分类：
其他好文 时间：
2017-01-26 23:19:54
阅读次数：
288
摘要： 1.正则化（Regularization） 1.1 正则化的目的 1.2 正则化的L1范数（lasso），L2范数（ridge），ElasticNet 2.归一化 （Normalization） 2.1归一化的目的 2.1归一化计算方... ...
分类：
其他好文 时间：
2017-01-19 02:42:43
阅读次数：
801
本文总结自《Neural Networks and Deep Learning》第3章的内容。 目录 交叉熵代价函数（The cross-entropy cost function） 柔性最大值（softmax） 过度拟合（Overfitting） 规范化（regularization） 权重初始化 ...
分类：
其他好文 时间：
2016-12-19 00:14:41
阅读次数：
329
Gradient Boosted Regression Trees 2 Regularization GBRT provide three knobs to control overfitting: tree structure, shrinkage, and randomization. Tree ...
分类：
其他好文 时间：
2016-11-28 08:21:35
阅读次数：
302
在深度学习中，当数据量不够大时候，常常采用下面4中方法： 1. 人工增加训练集的大小. 通过平移, 翻转, 加噪声等方法从已有数据中创造出一批"新"的数据.也就是Data Augmentation2. Regularization. 数据量比较小会导致模型过拟合, 使得训练误差很小而测试误差特别大. ...
分类：
其他好文 时间：
2016-09-05 11:53:54
阅读次数：
482
正则化（Regularization）机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作l1-norm和l2-norm，中文称作L1正则化和L2正则化，或者L1...
分类：
其他好文 时间：
2016-09-05 09:16:53
阅读次数：
824
1.交叉熵代价函数 2.正则化方法：L1和L2 regularization、数据集扩增、dropout 3. 数据预处理 4.机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size 5.随机梯度下降（Stochastic gradient descent）和 批量梯度下降 ...
分类：
其他好文 时间：
2016-08-22 21:41:51
阅读次数：
155
