原文：http://blog.csdn.net/u012162613/article/details/44261657本文是《Neural networks and deep learning》概览中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合...
分类：
其他好文 时间：
2015-09-07 00:19:30
阅读次数：
256
L1 and L2 regularization add a cost to high valued weights to prevent overfitting. L1 regularization is an absolute value cost function and tends to s...
分类：
其他好文 时间：
2015-08-25 18:32:52
阅读次数：
589
此文是斯坦福大学，机器学习界 superstar — Andrew Ng 所开设的 Coursera 课程：Machine Learning 的课程笔记。力求简洁，仅代表本人观点，不足之处希望大家探讨。...
分类：
系统相关 时间：
2015-08-11 01:25:45
阅读次数：
390
这是图像去模糊的第三篇，接着上节说道逆滤波对噪声特别敏感。约束最小二乘方滤波（Constrained Least Squares Filtering，aka Tikhonov filtration,Tikhonov regularization）核心是H对噪声的敏感性问题。减少噪声敏感新问题的一种方法是以平滑度量的最佳复原为基础的，因此我们可以建立下列...
分类：
其他好文 时间：
2015-08-08 16:35:24
阅读次数：
861
正则化的提出，是因为要解决overfitting的问题。以Linear Regression为例：低次多项式拟合的效果可能会好于高次多项式拟合的效果。这里回顾上上节nonlinear transform的课件：上面的内容说的是，多项式拟合这种的假设空间，是nested hypothesis；因此，能...
分类：
其他好文 时间：
2015-06-30 21:36:17
阅读次数：
356
这一节讲的是正则化，在优化中一直会用到正则化项，上课的时候老师一句话代过，没有作过多的解释。听完这节课后，才明白好大学和野鸡大学的区别有多大。总之，这是很有收获的一节课。 首先介绍了为什么要正则化，简单说就是将复杂的模型用简单的模型进行表示，至于如何表示，这中间有一系列推导假设，很有创意。 ...
分类：
其他好文 时间：
2015-06-30 10:02:32
阅读次数：
150
机器学习中的正则化和范数规则化正则化和范数规则化文章安排：文章先介绍了正则化的定义，然后介绍其在机器学习中的规则化应用L0、L1、L2规则化范数和核范数规则化，最后介绍规则化项参数的选择问题。正则化(regularization)来源于线性代数理论中的不适定问题，求解不适定问题的普遍方法是:用一族与...
分类：
其他好文 时间：
2015-06-19 20:07:04
阅读次数：
2971
http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/这里分别对l1 loss, l2 loss做了解释，以及对l1 regularization, l2 regularizati...
分类：
其他好文 时间：
2015-06-08 21:27:33
阅读次数：
138
正则化方法：L1和L2 regularization、数据集扩增、dropout本文是《Neural networks and deep learning》概览中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者...
分类：
其他好文 时间：
2015-05-19 22:09:23
阅读次数：
230
神经网络的挑战和关键技术：1.神经网络结构决定（层，神经元，连接） 加入特定领域的知识（CNN 图片处理）2.模型复杂度高 大的数据量； regularization: dropout；denoising3.最优化困难 好的初始化以避免局部最优：pre-training4.计算复杂度高 好的硬件方....
分类：
Web程序 时间：
2015-05-13 21:11:23
阅读次数：
291
