在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为： 对应的代价函数为： 下图作为一个二维参数（，）组对应能量函数的可视化 ...
分类：
其他好文 时间：
2019-08-30 23:05:52
阅读次数：
97
autograd包是PyTorch中神经网络的核心部分,简单学习一下. autograd提供了所有张量操作的自动求微分功能. 它的灵活性体现在可以通过代码的运行来决定反向传播的过程, 这样就使得每一次的迭代都可以是不一样的. Variable类 autograd.Variable是这个包中的核心类. ...
分类：
其他好文 时间：
2019-08-30 13:10:36
阅读次数：
78
直观理解反向传播法 反向传播算法其实就是 链式求导法则 的应用。按照机器学习的通用套路，我们先确定神经网络的目标函数，然后用 随机梯度下降优化算法 去求目标函数最小值时的参数值。 反向传播算法 损失函数与正则化项 假设我们有一个固定样本集$\{(x^{(1)},y^{(1)}),···,(x^{(m ...
分类：
其他好文 时间：
2019-08-28 12:57:41
阅读次数：
96
今天面试被问到LR的算法的梯度和正则化项，自己不太理解，所以找了一些相关资料，发现LR的算法在梯度下降，正则化和sigmoid函数方面都有很深的研究，期间也发现一些比较好的资料，记录一下。 这篇论文推导了LR和最大熵模型之间的关系 http://www.win vector.com/dfiles/L ...
分类：
其他好文 时间：
2019-08-26 21:11:02
阅读次数：
105
相比于L2损失函数，smooth对离群点、异常值（outlier）不敏感，可控制梯度的量级使训练时不容易跑飞。 ...
分类：
其他好文 时间：
2019-08-25 16:20:45
阅读次数：
205
1.1 梯度下降 梯度下降，全称Grandient Descent，简称GD。 梯度下降是一种非常通用的优化算法，能够为大范围的问题找到最优解。梯度下降的中心思想就是迭代地调整参数，从而使成本函数最小化。 首先，初始化一个随机的θ值（可设θ=0），然后逐步改进，每次踏出一步，就尝试降低一点成本函数， ...
分类：
编程语言 时间：
2019-08-24 18:35:49
阅读次数：
84
对网络中所有权重计算损失函数的梯度 Ref. https://zh.wikipedia.org/wiki/%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E7%AE%97%E6%B3%95 ...
分类：
其他好文 时间：
2019-08-24 17:06:08
阅读次数：
84
https://blog.csdn.net/tianguiyuyu/article/details/80438630 以上是莫烦对L1和L2的理解 l2正则：权重的平方和，也就是一个圆 l1正则：权重的绝对值之和，等价与一个正方形。 图中，正则项和损失项的交点就是最优解的位置，我们可以看到，在只有2 ...
分类：
其他好文 时间：
2019-08-24 12:58:11
阅读次数：
79
1、deg 度（Degress）。一个圆共360度 90deg = 100grad = 0.25turn ≈ 1.570796326794897rad -moz-transform: rotate(2deg);-webkit-transform: rotate(2deg);transform: ro ...
分类：
Web程序 时间：
2019-08-21 11:44:20
阅读次数：
167
为末尾end传递一个空字符串，这样print函数不会在字符串末尾添加一个换行符，而是添加一个空字符串，其实这也是一个语法要求，表示这个语句没结束。 print默认是打印一行，结尾加换行。end=' '意思是末尾不换行，加空格 如下所示：使用for循环实现九九乘法表：（使用 end=' '） 梯度展示 ...
分类：
编程语言 时间：
2019-08-20 20:13:52
阅读次数：
173
