$L_1,L_2$正则化 在很多场景都遇到$L_1,L_2$正则化，但是一直不知道这二者具体是什么原理，最近看了相关教程，记录一下。希望也能帮到还不懂的朋友:grimacing:。 前置技能 范数 数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负 ...
分类：
其他好文 时间：
2020-04-25 19:38:27
阅读次数：
69
# 导入所需模块 import tensorflow as tf from matplotlib import pyplot as plt import numpy as np import pandas as pd # 读入数据/标签 生成x_train y_train df = pd.read_ ...
分类：
其他好文 时间：
2020-04-21 21:17:47
阅读次数：
143
1.什么是线性回归 线性：两个变量之间的关系是一次函数关系的——图象是直线，叫做线性。 非线性：两个变量之间的关系不是一次函数关系的——图象不是直线，叫做非线性。 回归：人们在测量事物的时候因为客观条件所限，求得的都是测量值，而不是事物真实的值，为了能够得到真实值，无限次的进行测量，最后通过这些测量 ...
分类：
其他好文 时间：
2020-04-20 16:04:23
阅读次数：
66
7-1 过拟合问题 我们仍然以房价为例下面是 分类问题中也存在类似的问题 如何解决过拟合的问题？ 绘制出假设模型图像再选择合适的多项式阶次，但是绘制假设模型曲线可以作为多项式阶次的一种方法，但这种并不是总是有用的， 在我们解决学习问题的过程中，我们遇到的许多的变量，并且这不仅仅是选择多项式阶次的问题 ...
分类：
其他好文 时间：
2020-04-17 21:49:20
阅读次数：
75
代码仓库: https://github.com/brandonlyg/cute dl 目标 1. 为Session类增加自动分批训练模型的功能, 使框架更好用。 2. 新增缓解过拟合的算法: L2正则化, 随机丢弃。 实现自动分批训练 设计方案 增加Dataset类负责管理数据集, 自动对数据分批 ...
分类：
其他好文 时间：
2020-04-16 13:24:38
阅读次数：
61
正则化是为了防止过拟合。 1. 范数 范数是衡量某个向量空间（或矩阵）中的每个向量以长度或大小。 范数的一般化定义：对实数p>=1， 范数定义如下： L1范数： 当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和。 L2范数： 当p=2时，是L2范数， 表示某个向量中所有元素平方和再开根， ...
分类：
其他好文 时间：
2020-04-11 09:28:26
阅读次数：
340
学习目标 sklearn中的Pipeline 偏差与方差 模型正则化之L1正则、L2正则 一、sklearn中的Pipeline 研究一个因变量与一个或多个自变量间多项式的回归分析方法，称为多项式回归（Polynomial Regression）。多项式回归是线性回归模型的一种，其回归函数关于回归系 ...
分类：
其他好文 时间：
2020-04-05 13:35:04
阅读次数：
79
一、范数 1）norm表示范数，normalize表示正则化 2）matrix norm 和 vector norm的区别： 3）范数计算及表示方法 二、基本统计 1）mean, max, min, prod, sum 2）argmax, argmin 3）max的其他用法 三、topk 和 kth ...
分类：
其他好文 时间：
2020-03-28 23:15:17
阅读次数：
73
岭回归sklearn的API：from sklearn.linear_model import Ridge 通过调节模型中的参数alpha的值来调节正则化的力度，力度越大高次项的系数越小，逐渐趋近于0，但是不会等于0，alpha一般去0-1之间的小数，或者1-10之间的整数，可以通过网格搜索去寻找最 ...
分类：
其他好文 时间：
2020-03-26 23:18:42
阅读次数：
169
