1.逻辑回归是怎么防止过拟合的？为什么正则化可以防止过拟合？】 · 防止过拟合的方法： （1）增加样本量（适用任何模型）。 （2）如果数据稀疏，使用L1正则，其他情况，使用L2。 L1正则，通过增大正则项导致更多参数为0，参数系数化降低模型复杂度，从而抵抗过拟合。 L2正则，通过使得参数都趋于0，变 ...
分类：
其他好文 时间：
2020-06-09 09:55:14
阅读次数：
59
正如你目前所看到的，神经网络的性能非常依赖超参数。因此，了解这些参数如何影响网络变得至关重要。常见的超参数是学习率、正则化器、正则化系数、隐藏层的维数、初始权重值，甚至选择什么样的优化器优化权重和偏置。 超参数调整过程 调整超参数的第一步是构建模型。与之前一样，在 TensorFlow 中构建模型。 ...
分类：
其他好文 时间：
2020-06-08 19:06:40
阅读次数：
76
正则化的目的是为了防止过拟合，降低模型的复杂度。 正则化的打开方式： 在目标函数后面添加一个系数的“惩罚项”。 式中， 是一个常数， 为样本个数， 是一个超参数，用于控制正则化程度。 1、L1正则化：在目标函数后面加了所有特征系数的绝对值之和。L1正则化更适用于特征选择，每次更新过程中会减去或加上一 ...
分类：
其他好文 时间：
2020-05-30 22:03:08
阅读次数：
108
Lasso，也就是L1正则项，它倾向于完全消除最不重要特征的权重（置为0），就是说Lasso会自动执行特征选择，并输出一个稀疏模型。 问题：Lasso在特征数量超过训练实例的数量时（比如10条数据20个特征），或者特征之间相关性比较强，Lasso就会很不稳定。 总结：Lasso可进行特征选择，不代表 ...
分类：
其他好文 时间：
2020-05-25 10:52:02
阅读次数：
55
Regulazation Dropout 1. 在全连接层时使用，随机使一半的元素为0； 在卷积层时，随机使得一些通道(channel)的值为0 2. 这是为了防止一些 features' co-adaption 比如可能学习到 特征组合 毛+爪子+胡须 ，dropout之后就需要用零散的特征来判断 ...
分类：
其他好文 时间：
2020-05-24 19:17:49
阅读次数：
66
神经网络的超参数有： 1. 学习率 2. 迭代次数 iteration 3. 隐藏层数 L 4. 激活函数 5. momentum 6. mini batch 7. 正则化参数 …… 1. 看training集的误差 考虑 1.是否需要加深网络 2.加长训练时间 3.尝试更先进的optimize算法... ...
分类：
其他好文 时间：
2020-05-20 21:40:04
阅读次数：
68
主要内容： 线性回归 定义与问题引入 损失函数 梯度下降 过拟合与正则化 逻辑回归 定义与问题引入 损失函数 梯度下降与正则化 线性回归 有监督学习= 学习样本为D={(x~i~,y~i~)}^N^~i=1~ 多变量情形： 损失函数 loss function： 梯度下降： 其中α为步长，很大 震荡 ...
分类：
其他好文 时间：
2020-05-17 17:27:48
阅读次数：
73
到目前为止,你已经见过一系列不同的学习算法。在监督学习中，许多监督学习算法的性能都非常类似。因此，重要的不是你该选择使用学习算法A还是学习算法B，而更重要的是，应用这些算法时，所使用的数据量。这就体现了你应用这些算法时的技巧。比如：你为学习算法所设计的特征量的选择，以及如何选择正则化参数，诸如此类的 ...
分类：
其他好文 时间：
2020-05-17 01:17:28
阅读次数：
119
降低模型的过拟合的好方法就是 正则化 这个模型（即限制它）：模型有越少的自由度，就越难拟合数据。例如，正则化一个多项式模型，一个简单的方法就是减少多项式的阶数。 对于线性模型，正则化的典型实现就是约束模型中参数的权重。这里介绍三种不同约束权重的方法：Ridge回归，Lasso回归和Elastic N ...
分类：
其他好文 时间：
2020-05-16 00:09:41
阅读次数：
94
逻辑回归、正则化、感知机 正则化 为避免过拟合，增强模型的泛化能力，可以使用正则化的方法。 1. Lasso回归 L1正则化 $$ J(\theta)=\frac{1}{2n}(\mathtt X\theta Y)^T(\mathtt X\theta Y)+\alpha\lVert \theta\r ...
分类：
其他好文 时间：
2020-05-13 16:36:28
阅读次数：
60
