转自：https://www.cnblogs.com/chaosimple/p/4153167.html 一、标准化（Z-Score），或者去除均值和方差缩放 公式为：(X-mean)/std 计算时对每个属性/每列分别进行。 将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每 ...
分类：
其他好文 时间：
2020-07-28 17:09:32
阅读次数：
72
一、偏差和方差 欠拟合的loss主要来自偏差 过拟合的loss主要来自方差 应对大的偏差的方法： 增加更多特征作为输入 使用更复杂的模型 应对大的方差的方法： 更多数据 正则化 k折交叉验证 二、梯度下降 Adagrad 二次微分大的点梯度虽然大但是可能会比梯度小的点离极值点更近，因此学习率需要考虑 ...
分类：
其他好文 时间：
2020-07-22 20:53:23
阅读次数：
106
Tensorflow一般经过三阶段的模式函数操作： 模型 inference()阶段：尽可能构建好图表（graph），满足促使神经网络向前反馈并做出相应的预测要求； 策略 loss()阶段：往inference图表中添加生成损失（loss）所需要的操作（ops），如交叉熵损失，正则化损失； 算法 t ...
分类：
其他好文 时间：
2020-07-14 21:50:43
阅读次数：
63
对抗训练 对抗训练是防御对抗样本攻击的一种方法。将对抗样本和正常样本一起训练是一种有效的正则化，可以提高模型的准确度，同时也能有效降低对抗样本的攻击成功率。不过这种防御也只是针对同样用来产生训练集中的对抗样本的方法。 探索网络对底层任务的理解层次，通过对抗训练减少原有独立同分布的测试集的错误率——在 ...
分类：
其他好文 时间：
2020-06-25 23:23:40
阅读次数：
67
论文从理论的角度出发，对目标检测的域自适应问题进行了深入的研究，基于H-divergence的对抗训练提出了DA Faster R-CNN，从图片级和实例级两种角度进行域对齐，并且加入一致性正则化来学习域不变的RPN。从实验来看，论文的方法十分有效，这是一个很符合实际需求的研究，能解决现实中场景多样 ...
分类：
编程语言 时间：
2020-06-22 11:08:43
阅读次数：
254
梯度消失问题和梯度爆炸问题，总的来说可以称为梯度不稳定问题。 【要背住的知识】：用ReLU代替Sigmoid，用BN层，用残差结构解决梯度消失问题。梯度爆炸问题的话，可以用正则化来限制。sigmoid的导数是【0，0.25】. 出现原因 两者出现原因都是因为链式法则。当模型的层数过多的时候，计算梯度 ...
分类：
其他好文 时间：
2020-06-21 19:49:49
阅读次数：
93
1.逻辑回归是怎么防止过拟合的？为什么正则化可以防止过拟合？ 答： （1）可以通过增加样本量，或者提取不重要的特征进行降维来防止过拟合，也可以通过正则化来防止过拟合。 （2）正则化的原理，就是通过约束系数（w）的大小，进而抑制整体的过拟合情况。 2.用logiftic回归来进行实践操作，数据不限。 ...
分类：
其他好文 时间：
2020-06-16 13:18:13
阅读次数：
56
1.逻辑回归是怎么防止过拟合的？为什么正则化可以防止过拟合？（大家用自己的话介绍下） 逻辑回归可以增加样本量，也可通过特征选择,剔除一些不重要的特征,从而降低模型复杂度。 过拟合的时候，拟合函数的系数往往非常大，而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况 2.用lo ...
分类：
其他好文 时间：
2020-06-14 10:46:59
阅读次数：
50
1.1 训练——开发——测试集 经验法则： Make sure dev and test come from same distribution 1.2 偏差_方差 1.4 Logistic regression 为什么只正则化参数w，为什么不再加上参数b呢？ 因为w通常是一个高维参数矢量，已经可以 ...
分类：
其他好文 时间：
2020-06-13 11:15:08
阅读次数：
58
初始化 分别使用0、随机数和抑梯度异常初始化参数，比较发现抑梯度异常初始化参数可以得到更高的准确度。 原始数据： import numpy as np import matplotlib.pyplot as plt import sklearn import sklearn.datasets fro ...
分类：
其他好文 时间：
2020-06-11 22:09:49
阅读次数：
57
