本文是《Neural networks and deep learning》概览 中第三章的一部分。讲机器学习/深度学习算法中经常使用的正则化方法。（本文会不断补充） 正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，经常会导致overfitting（过拟合）
分类：
其他好文 时间：
2016-03-12 14:48:24
阅读次数：
1173
避免过度拟合之正则化 “越少的假设，越好的结果” 商业情景： 当我们选择一种模式去拟合数据时，过度拟合是常见问题。一般化的模型往往能够避免过度拟合，但在有些情况下需要手动降低模型的复杂度，缩减模型相关属性。 让我们来考虑这样一个模型。在课堂中有10个学生。我们试图通过他们过去的成绩预测他们未来的成绩
分类：
其他好文 时间：
2016-02-28 18:18:55
阅读次数：
246
5.1节 Cost Function神经网络的代价函数。 上图回顾神经网络中的一些概念： L 神经网络的总层数。 sl 第l层的单元数量（不包括偏差单元）。 2类分类问题：二元分类和多元分类。 上图展现的是神经网络的损失函数，注意这是正则化的形式。 正则化部分，i、j不为0。当然i、j可以为0，此时
分类：
Web程序 时间：
2016-02-25 00:07:14
阅读次数：
344
Logistic Regression可以说是机器学习的入门算法。不过，你真的有把握能够把LR从头到脚讲一遍吗？你会现场建模，数学推导？你知道它的正则化的作用？你能讲清楚它跟MaxEnt最大熵模型的关系吗？ok，你说这些你都会？那你知道并它的行化怎么做吗？有几种并行化的方式呢？啥？！你说你还会？大神，请受我一拜！...
分类：
其他好文 时间：
2015-12-19 18:04:09
阅读次数：
3033
一、标准化（Z-Score），或者去除均值和方差缩放公式为：(X-mean)/std 计算时对每个属性/每列分别进行。将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1。实现时，有两种不同的方式：使用sklearn.preproc...
分类：
其他好文 时间：
2015-12-03 00:33:19
阅读次数：
292
原文：http://www.zhihu.com/question/2070082927 个回答46赞同反对，不会显示你的姓名ALAN Huang，什么都会一点点欣然、王志、马克等人赞同Orangeprince的回答非常学院派，也非常系统。 过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增...
分类：
其他好文 时间：
2015-11-28 13:25:47
阅读次数：
289
1 过拟合过拟合就是训练模型的过程中，模型过度拟合训练数据，而不能很好的泛化到测试数据集上。出现over-fitting的原因是多方面的：1 训练数据过少，数据量与数据噪声是成反比的，少量数据导致噪声很大2 特征数目过多导致模型过于复杂，如下面的图所示：看上图中的多项式回归（Polynomial r...
分类：
其他好文 时间：
2015-11-14 16:17:54
阅读次数：
1250
data 0, 1, 0)#第二种方法，把预测结果转成概率值library('boot')inv.logit(predict(regularized.fit, newx = x, s = 0.001))#看效果set.seed(1)performance 0, 1, 0) error.rat...
分类：
系统相关 时间：
2015-10-25 16:21:03
阅读次数：
303
这几天一直在想正则化参数和扰动之间的关系。理论上讲的是一回事，但是放到非线性反演问题中来的时候，又是另外一回事。所以拿了几个实验来验证。当剖分相对粗一点的时候，正则化参数的选取是可以与扰动成正比的，或者说是同一量级的。事实上，在正则化方法中，如果事先知道了扰动水平，即通常所讲的在先验信息已知的条件下...
分类：
其他好文 时间：
2015-10-09 21:12:32
阅读次数：
165
原文：http://blog.csdn.net/u012162613/article/details/44261657本文是《Neural networks and deep learning》概览中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合...
分类：
其他好文 时间：
2015-09-07 00:19:30
阅读次数：
256
