https://blog.csdn.net/tianguiyuyu/article/details/80438630 以上是莫烦对L1和L2的理解 l2正则：权重的平方和，也就是一个圆 l1正则：权重的绝对值之和，等价与一个正方形。 图中，正则项和损失项的交点就是最优解的位置，我们可以看到，在只有2 ...
分类：
其他好文 时间：
2019-08-24 12:58:11
阅读次数：
79
一、过拟合与正则化作用 1、先了解什么是过拟合 了解什么是过拟合问题，以下面图片为例，我们能够看到有两个类别，蓝色是分类曲线模型。 欠拟合：图1分类，不能很好的将X和O很好的分类，属于欠拟合。 正拟合：图2有两个X被误分类，但是大部分数据都能很好的分类，误差在可接受范围内，分类效果好，属于良好的拟合 ...
分类：
其他好文 时间：
2019-07-31 15:11:17
阅读次数：
139
Q1过拟合的问题 训练集表现良好，测试集表现差。鲁棒性差。以下是两个例子（一个是回归问题，一个是分类问题） 第一个图明显欠拟合，第三个图过度拟合，拟合函数复杂，虽然对于训练集具有很低的代价函数，但是应用到新样本的能力并不高，图二则是两者的均衡。 解决办法： （1）丢弃一些不能帮助我们正确预测的特征。 ...
分类：
其他好文 时间：
2019-07-28 19:48:04
阅读次数：
108
作用：正则化是一种有效的防止过拟合、提高模型泛化能力方法，在机器学习和深度学习算法 中应用非常广泛，在早期的机器学习领域一般只是将范数惩罚叫做正则 化技术，而在深度学习领域认为：能够显著减少方差，而不过度增加偏差的策略都可以认为 是正则化技术，故此推广的正则化技术还有：扩增样本集、早停止、Dropo ...
分类：
其他好文 时间：
2019-07-25 21:48:17
阅读次数：
113
1. 过拟合 过拟合是指在模型的训练阶段过分拟合训练数据的特征，模型的训练数据上具有较小的误差。数据中的噪声也有可能被模型所学习，使得模型的泛化性能较差。 通常导致过拟合产生的原因包括： (1). 目标函数中没有相应的正则化项作为惩罚项, 常用的正则化项包括L1 和L2，其中L1约束能够学习出稀疏的 ...
分类：
其他好文 时间：
2019-07-23 00:14:20
阅读次数：
178
范数在深度学习中的应用是作为损失函数正则化选项，从而减少模型的过拟合情况。在继续讲解正则化之前，我们先介绍欠拟合、过拟合的概念。 1 范数要解决的问题 过拟合现象 &n ...
分类：
其他好文 时间：
2019-07-21 13:27:03
阅读次数：
77
solver文件 是一堆超参数，比如迭代次数，是否用GPU，多少次迭代暂存一次训练所得参数，动量项，权重衰减（即正则化参数），基本的learning rate，多少次迭代打印一次loss,以及网络结构描述文件（即model文件）存储位置，等等 比如： lenet_solver.prototxt mo ...
分类：
其他好文 时间：
2019-07-20 09:42:44
阅读次数：
91
前面的文章对线性回归做了一个小结，文章在这：?线性回归原理小结。里面对线程回归的正则化也做了一个初步的介绍。提到了线程回归的L2正则化 Ridge回归，以及线程回归的L1正则化 Lasso回归。但是对于Lasso回归的解法没有提及，本文是对该文的补充和扩展。以下都用矩阵法表示，如果对于矩阵分析不熟悉 ...
分类：
编程语言 时间：
2019-07-19 18:37:32
阅读次数：
99
一、深度学习建模与调试流程 二、激活函数 sigmoid ReLU maxout 三、梯度下降的改进 Adagrad RMSProp Momentum Adam = RMSProp + Momentum Early Stopping 四、正则化 Dropout ...
分类：
其他好文 时间：
2019-07-16 18:55:03
阅读次数：
235
LSTM特性, CNN特性, 损失函数, paper, 项目 ...软件 激活函数: -> sigmod: 硬饱和性, y(0,1), 斜率趋于0;-> tanh: 软饱和性, y(-1,1), 虽然输出均值为0， 可以更快收敛, 但斜率依然会趋于0;-> relu: 当x<0时, 存在硬饱和, y ...
分类：
编程语言 时间：
2019-06-03 14:05:10
阅读次数：
197
