正则化 --在原有损失函数的基础上加上一个正则化项 通常用到的有均方根误差rmse和平均绝对误差mae 通过限制参数过多或者过大，避免模型更加复杂,简单来说就是降低模型的泛化错误率,避免模型过拟合 L1与L2的区别 L1可以实现让参数矩阵稀疏, 且L1正则化的损失函数不不是连续可导的, L2也称岭回 ...
分类：
其他好文 时间：
2020-03-20 17:05:12
阅读次数：
74
一篇19年语义合成图像的文章。认为直接利用正则层会洗掉图像中原有的语义信息。提出了一种spatially-adaptive的正则化。 条件图像合成方法区别在于输入数据的类型。例如以类别为条件的模型、以图像为输入的image-to-image等。非条件正则层包括Local Response Norma ...
分类：
其他好文 时间：
2020-03-13 20:21:23
阅读次数：
91
数据科学职位的典型面试过程会有很多轮，其中通常会涉及理论概念，目的是确定应聘者是否了解机器学习的基础知识。 在这篇文章中，我想总结一下我所有的面试经历（面试or被面试）并提出了160多个数据科学理论问题的清单。 其中包括以下主题： 线性回归 模型验证 分类和逻辑回归 正则化 决策树 随机森林 GBD ...
分类：
其他好文 时间：
2020-03-06 11:23:59
阅读次数：
95
4. XGBoost的优势XGBoost算法可以给预测模型带来能力的提升。当我对它的表现有更多了解的时候，当我对它的高准确率背后的原理有更多了解的时候，我发现它具有很多优势： 4.1 正则化标准GBM的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。实际上，XGBoost以 ...
分类：
其他好文 时间：
2020-02-28 21:08:07
阅读次数：
102
过拟合现象，即模型的训练误差远?于它在测试集上的误差。虽然增?训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价?昂。本节介绍应对过拟合问题的常??法：权重衰减（weight decay）。 一、方法 权重衰减等价于 范数正则化（regularization）。正则化通过为模型损失函数添加惩 ...
分类：
其他好文 时间：
2020-02-28 01:35:13
阅读次数：
69
tf.nn.l2_loss()与tf.contrib.layers.l2_regularizerd()都是TensorFlow中的L2正则化函数，tf.contrib.layers.l2_regularizerd()函数在tf 2.x版本中被弃用了。 两者都能用来L2正则化处理，但运算有一点不同。 ...
分类：
其他好文 时间：
2020-02-24 20:11:23
阅读次数：
387
过拟合、欠拟合及其解决方案 1. 过拟合、欠拟合的概念 2. 权重衰减（通过l2正则化惩罚权重比较大的项） 3. 丢弃法(drop out) 4. 实验 1.过拟合、欠拟合的概念 1.1训练误差和泛化误差 前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并 ...
分类：
其他好文 时间：
2020-02-15 11:52:09
阅读次数：
109
摘要： Dropout正则化是最简单的神经网络正则化方法。阅读完本文，你就学会了在Keras框架中，如何将深度学习神经网络Dropout正则化添加到深度学习神经网络模型里。 Dropout正则化是最简单的神经网络正则化方法。其原理非常简单粗暴：任意丢弃神经网络层中的输入，该层可以是数据样本中的输入变 ...
分类：
其他好文 时间：
2020-02-15 11:48:38
阅读次数：
119
虽然之前已经大概介绍了关于神经网络的基本结构，但是对于神经网络来说，还有很多可以提升的地方，包括不限于：参数的初始化，正则化，检测方式，除了梯度下降以外的优化算法，超参的调试，批量标准化，和TensorFlow等等。下面我们依次来介绍。 参数的初始化 由于 梯度消失/爆炸 的原因，参数的初始化关系着 ...
分类：
其他好文 时间：
2020-02-04 22:07:11
阅读次数：
95
Dropout是过去几年非常流行的正则化技术，可有效防止过拟合的发生。但从深度学习的发展趋势看，Batch Normalizaton(简称BN)正在逐步取代Dropout技术，特别是在卷积层。本文将首先引入Dropout的原理和实现，然后观察现代深度模型Dropout的使用情况，并与BN进行实验比对 ...
分类：
其他好文 时间：
2020-02-04 10:41:27
阅读次数：
91
