1.Diagnosing bias vs. variance 2.Regularization and bias/variance 3.Learning curves 4.Deciding what to try next ...
分类：
其他好文 时间：
2018-09-26 01:19:00
阅读次数：
387
使用机器学习方法解决实际问题时，我们通常要用L1或L2范数做正则化（regularization），从而限制权值大小，减少过拟合风险。特别是在使用梯度下降来做目标函数优化时，很常见的说法是, L1正则化产生稀疏的权值, L2正则化产生平滑的权值。为什么会这样？这里面的本质原因是什么呢？下面我们从两个 ...
分类：
其他好文 时间：
2018-09-25 23:00:50
阅读次数：
204
CNN的权值正交性和特征正交性，在一定程度上是和特征表达的差异性存在一定联系的。 下面两篇论文，一篇是在训练中对权值添加正交正则提高训练稳定性，一篇是对特征添加正交性的损失抑制过拟合。 第一篇：Orthonormality Regularization Xie D, Xiong J, Pu S. A ...
分类：
其他好文 时间：
2018-07-25 16:17:14
阅读次数：
239
正则化（Regularization） 稀疏模型与特征选择 上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？ 稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0. 通常机器学习中特征数量很多，例如文本处理时，如 ...
分类：
其他好文 时间：
2018-07-18 20:39:10
阅读次数：
128
L2 Regularization是解决Variance（Overfitting）问题的方案之一，在Neural Network领域里通常还有Drop Out, L1 Regularization等。无论哪种方法，其Core Idea是让模型变得更简单，从而平衡对training set完美拟合、以 ...
分类：
其他好文 时间：
2018-06-30 19:59:15
阅读次数：
150
在总结正则化（Regularization）之前，我们先谈一谈正则化是什么，为什么要正则化。 个人认为正则化这个字眼有点太过抽象和宽泛，其实正则化的本质很简单，就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作。在算法中使用正则化的目的是防止模型出现过拟合。一提到正则化，很多同学可 ...
分类：
其他好文 时间：
2018-06-30 17:43:02
阅读次数：
277
这个知识点很重要，但是，我不懂。 第一个问题：为什么要做正则化？ In mathematics, statistics, and computer science, particularly in the fields of machine learning and inverse problems ...
分类：
其他好文 时间：
2018-06-01 10:41:48
阅读次数：
178
其实今天只花了一点点时间来学习这本书， overfitting可以通过regularization来解决，贝叶斯方法也可以避免overfitting的出现，实际上在贝叶斯模型里，模型的有效参数数量会自动地根据训练数据集大小来确定。 regularization的思想是，对误差函数加入惩罚项，使得系数 ...
分类：
系统相关 时间：
2018-05-17 22:03:55
阅读次数：
182
1.指数滑动平均 (ema) 描述滑动平均: with tf.control_dependencies([train_step,ema_op]) 将计算滑动平均与 训练过程绑在一起运行 train_op=tf.no_op(name='train') 使它们合成一个训练节点 结果: [0.0, 0.0 ...
分类：
其他好文 时间：
2018-05-01 15:29:52
阅读次数：
579
也就是吴恩大大讲的regularization ，俗称惩罚项目。 详细介绍戳链接！！！ ...
分类：
其他好文 时间：
2018-04-27 02:45:37
阅读次数：
145
