原博客：https://blog.csdn.net/huplion/article/details/79069365 （在此仅作学习记录作用） 一、前言 在前几篇文章中，我们学习到如何在训练集上设置权重，并由此计算出损失(loss)，其中loss是有两部分组成，分别是数据损失项和正则化项目。我们最终 ...
分类：
编程语言 时间：
2020-02-02 13:57:38
阅读次数：
57
1 from sklearn.model_selection import train_test_split 2 from sklearn.datasets import load_diabetes 3 X,y=load_diabetes().data,load_diabetes().target ...
分类：
其他好文 时间：
2020-02-01 14:29:36
阅读次数：
89
作为损失函数 L1范数损失函数 L1范数损失函数，也被称之为最小绝对值误差。总的来说，它把目标值$Y_i$与估计值$f(x_i)$的绝对差值的总和最小化。 $$S=\sum_{i=1}^n|Y_i-f(x_i)|$$ L2范数损失函数 L2范数损失函数，也被称为最小平方误差，总的来说，它把目标值$Y ...
分类：
其他好文 时间：
2020-01-29 16:15:42
阅读次数：
126
[TOC] 所谓正则化是在代价函数的基础上进行的 为了使costfunction尽快的取得最小值 当参数过多时，会存在过拟合现象，假如我们在损失函数中加入一项作为惩罚，如加入$1000 \theta_{3}^{2}$，当参数$\theta_{3}$过大时，会使得损失函数变大，而我们的目标是损失函数最 ...
分类：
其他好文 时间：
2020-01-26 20:47:24
阅读次数：
70
1.过拟合 然能完美的拟合模型，但是拟合出来的模型会含有大量的参数，将会是一个含有大量参数的非常庞大的模型，因此不利于实现 1.1解决过拟合的方法 1.1.1 特征选择，通过选取特征变量来减少模型参数等 1.1.2 正则化 欠拟合 对于模型拟合的不太到位，导致误差很大。 泛化能力 一个模型用到新样本 ...
分类：
其他好文 时间：
2020-01-26 16:01:29
阅读次数：
77
基本概念 机器学习模型面临的两个主要问题是欠拟合与过拟合。 欠拟合 ，即模型具有较高的 偏差 ，说明模型没有从数据中学到什么，如下左图所示。而 过拟合 ，即模型具有较高的 方差 ，意味着模型的经验误差低而泛化误差高，对新数据的泛化能力差，如下右图所示。 通常，欠拟合是由于模型过于简单或使用数据集的特 ...
分类：
其他好文 时间：
2020-01-23 21:16:34
阅读次数：
135
下面要说的基本都是《动手学深度学习》这本花书上的内容，图也采用的书上的 首先说的是训练误差(模型在训练数据集上表现出的误差)和泛化误差(模型在任意一个测试数据集样本上表现出的误差的期望) 模型选择 验证数据集(validation data set)，又叫验证集(validation set)，指用 ...
分类：
其他好文 时间：
2020-01-06 11:13:27
阅读次数：
446
一、The Problem of Overfitting 欠拟合（high bias）：模型不能很好地适应训练集； 过拟合（high variance）：模型过于强调拟合原始数据，测试时效果会比较差。 处理过拟合： 1、丢弃一些特征，包括人工丢弃和算法选择； 2、正则化：保留所有特征，但减小参数的值 ...
分类：
其他好文 时间：
2020-01-01 23:59:17
阅读次数：
167
一、Evaluating a Learning Algorithm 训练后测试时如果发现模型表现很差，可以有很多种方法去更改： 1. 用更多的训练样本； 2. 减少/增加特征数目； 3. 尝试多项式特征； 4. 增大/减小正则化参数$\lambda$。 那么该怎么去选择采用哪种方式呢？ 一般将70% ...
分类：
移动开发 时间：
2020-01-01 23:38:48
阅读次数：
92
基于距离的norm1和norm2 所谓正则化，就是在损失函数中增加范数，那么老调重弹一下，所谓范数是指空间向量的大小距离之和，那么范数有值单一向量而言的范数，其实所谓单点向量其实是指指定向量到原点的距离。 d = Σ||xi||· 还有针对两个向量求距离的范数；那么作为距离，最常用到的就是马哈顿距离... ...
分类：
其他好文 时间：
2020-01-01 16:37:31
阅读次数：
112
