http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function 损失函数可以看做 误差部分(loss term) + 正则化部分(regularization term) ...
分类：
其他好文 时间：
2016-08-17 21:06:22
阅读次数：
302
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）
正则化方法：防止过拟合，提高泛化能力
在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减...
分类：
其他好文 时间：
2016-07-19 10:39:32
阅读次数：
138
前言： 本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。因此在模型的损失函数中，需要对模型的参数进行“惩罚”，这样的话这些参数就不会太大，而越小的参数说明模型越简单，越简单的模型则越... ...
分类：
其他好文 时间：
2016-07-04 11:47:41
阅读次数：
256
前言： 在上一讲Deep learning：五(regularized线性回归练习)中已经介绍了regularization项在线性回归问题中的应用，这节主要是练习regularization项在logistic回归中的应用，并使用牛顿法来求解模型的参数。参考的网页资料为：http://opencl... ...
分类：
其他好文 时间：
2016-07-03 23:14:00
阅读次数：
315
损失函数(loss function) = 误差部分(loss term) + 正则化部分(regularization term)
1. 误差部分
1.1 gold term,0-1损失函数,记录分类错误的次数
1.2 Hinge loss, 折叶损失,关于0的阀值
定义:E(z)=max(0,1-z)
应用: SVM中的最大化间隔分类,max-margin loss最大边界损...
分类：
其他好文 时间：
2016-06-21 07:56:01
阅读次数：
343
从一个问题说起： 当我们使用H10去拟合曲线的时候，其实我们只想要H2的结果。如果从H10变回到H2呢？ 所以我们只需要添加上限制条件：w3=...=w10=0即可。现在呢，我们可以放宽一点条件：任意8个w为0即可。 但是像这种问题是NP-Hard问题，需要枚举所有的情况。 我们再放宽一点条件： 对 ...
分类：
其他好文 时间：
2016-05-08 16:31:19
阅读次数：
120
other_techniques_for_regularization 随手翻译，略作参考，禁止转载 www.cnblogs.com/santian/p/5457412.html Dropout: Dropout is a radically different technique for regu ...
分类：
其他好文 时间：
2016-05-04 11:55:05
阅读次数：
204
1. 正则化概述（Regularization） 监督学习可以简单的理解为在最小化loss function 的同时，保证模型的复杂度尽可能的低，防止出现过拟合（overfitting）。常用的loss函数有square loss(Regression)，Hinge Loss(SVM)，exp-lo... ...
分类：
其他好文 时间：
2016-04-15 21:31:38
阅读次数：
275
3. Bayesian statistics and Regularization Content 3. Bayesian statistics and Regularization. 3.1 Underfitting and overfitting. 3.2 Bayesian statistics ...
分类：
其他好文 时间：
2016-04-04 01:24:50
阅读次数：
221
本文原始文章见http://blog.csdn.net/abcjennifer/article/details/7849812，本文添加了一些自己的理解
本栏目（Machine learning）包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM（Support Ve...
分类：
其他好文 时间：
2016-03-28 00:22:37
阅读次数：
1165
