1. 正则化概述（Regularization） 监督学习可以简单的理解为在最小化loss function 的同时，保证模型的复杂度尽可能的低，防止出现过拟合（overfitting）。常用的loss函数有square loss(Regression)，Hinge Loss(SVM)，exp-lo... ...
分类：
其他好文 时间：
2016-04-15 21:31:38
阅读次数：
275
3. Bayesian statistics and Regularization Content 3. Bayesian statistics and Regularization. 3.1 Underfitting and overfitting. 3.2 Bayesian statistics ...
分类：
其他好文 时间：
2016-04-04 01:24:50
阅读次数：
221
本文是《Neural networks and deep learning》概览 中第三章的一部分。讲机器学习/深度学习算法中经常使用的正则化方法。（本文会不断补充） 正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，经常会导致overfitting（过拟合）
分类：
其他好文 时间：
2016-03-12 14:48:24
阅读次数：
1173
http://blog.sina.com.cn/s/blog_890c6aa30100z7su.html 在机器学习或者模式识别中，会出现overfitting，而当网络逐渐overfitting时网络权值逐渐变大，因此，为了避免出现overfitting,会给误差函数添加一个惩罚项，常用的惩罚项是
分类：
其他好文 时间：
2016-01-31 13:19:13
阅读次数：
174
11 Clever Methods of Overfitting and how to avoid themOverfitting is the bane of Data Science in the age of Big Data. John Langford reviews "clever" m...
分类：
其他好文 时间：
2015-12-22 21:00:31
阅读次数：
285
当有多个features时，无法通过图像来评估hypothesis当我们的hypothesis只有一个features时，可以通过观察它的图像来看它是否overfitting,但是如果我们有多个features的情况下，就无法通过画出图形来看是否overfitting.我们需要另一种方法来评估我们的...
分类：
其他好文 时间：
2015-12-14 23:12:55
阅读次数：
313
在设计机器学习系统时，一些建议与指导，让我们能明白怎么选择一条最合适，最正确的道路。当我们要开发或者要改进一个机器学习系统时，我们应该接下来做些什么？try smaller sets of features--是为了防止overfitting.当你发现你的预测方法不能成功预测时，接下来你该尝试些什么...
分类：
其他好文 时间：
2015-12-14 18:23:15
阅读次数：
146
一，C4.5算法是基于ID3算法的改进（优点） 对连续的数据也能处理 可以在决策树构造过程中进行剪枝，因为某些具有很少元素的结点可能会使构造的决策树过拟合（Overfitting），如果不考虑这些结点可能会更好 能够对不完整数据进行处理。 用信息增益率来进行属性选择的度量 二，算法流程 三，属性选择...
分类：
编程语言 时间：
2015-11-19 18:59:33
阅读次数：
288
主要内容：
Overfitting（问题）
判断和防止overfitting 的方式
————————————————————————————————————
过度拟合的模型往往不能进行一般化推广（generalization）
拟合问题需要在两个方面进行权衡
需要注意的是 如果用来训练的数据和测试的数据是同样的，那么这样的检验是没有意义的，就...
分类：
其他好文 时间：
2015-08-28 17:42:12
阅读次数：
302
在机器学习中，导致overfitting的原因之一是noise，这个noise可以分为两种，即stochastic noise，随机噪声来自数据产生过程，比如测量误差等，和deterministic noise，确定性噪声来自added complexity，即model too complex。这两种类型的造成来源不同，但是对于学习的影响是相似的...
分类：
其他好文 时间：
2015-08-27 16:51:58
阅读次数：
120
