torch.optim.SGD class torch.optim.SGD(params, lr=<object object>, momentum=0, dampening=0, weight_decay=0, nesterov=False) 功能: 可实现SGD优化算法，带动量SGD优化算法，带 ...
分类：
其他好文 时间：
2020-03-02 23:04:01
阅读次数：
118
code from keras.layers.normalization import BatchNormalization from keras.models import Sequential from keras.layers.core import Dense,Dropout,Activat ...
分类：
其他好文 时间：
2020-02-28 16:05:12
阅读次数：
65
一.损失函数的使用 损失函数【也称目标函数或优化评分函数】是编译模型时所需的两个参数之一。 model.compile(loss='mean_squared_error', optimizer='sgd') 或 from keras import losses model.compile(loss= ...
分类：
其他好文 时间：
2020-02-25 17:58:18
阅读次数：
100
线性回归可以说是机器学习中最基本的问题类型了，这里就对线性回归的原理和算法做一个小结 目录 背景 简述 内容详解 密度聚类 层次聚类 模型效果判断 附件：手写推导过程练习 一、线性回归函数定义 二、线性回归的模型函数和损失函数由来 原因：中心极限定理 实际问题中，很多随机现象可以看做众多因素的独立影... ...
分类：
其他好文 时间：
2020-02-23 22:00:31
阅读次数：
85
目录 简述 梯度下降与梯度上升 梯度下降法算法详解 梯度下降法大家族（BGD，SGD，MBGD） 梯度下降法和其他无约束优化算法的比较 总结 在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法(在【2】中已... ...
分类：
其他好文 时间：
2020-02-23 21:50:51
阅读次数：
65
与学习相关的技巧 参数的更新 SGD $W \leftarrow W \eta \frac{\partial L}{\partial W}$ 缺点:如果函数的形状非均向(anisotropic),搜索的路径会非常低效.梯度的方向并没有指向最小值的方向.呈"之"字形向最小值移动,效率低. Moment ...
分类：
其他好文 时间：
2020-02-05 13:38:07
阅读次数：
71
1. SGD的不足： ①呈“之”字型，迂回前进，损失函数值在一些维度的改变得快（更新速度快），在一些维度改变得慢（速度慢）- 在高维空间更加普遍 ②容易陷入局部极小值和鞍点： 局部最小值： 鞍点： ③对于凸优化而言，SGD不会收敛，只会在最优点附近跳来跳去 - 可以通过使用不固定的learning ...
分类：
其他好文 时间：
2020-02-05 09:42:37
阅读次数：
90
梯度下降的各种优化算法下面参考文献表述都很全面了，不在赘述，主要谈谈个人理解 其实对SGD的优化，跟自动控制中的PID思路其实是一样的 P（Propotion）比例项即当前偏差 I（Intergration）积分项即偏差的累积 D（differentiation）微分项即偏差的变化 SGD加入微分项 ...
分类：
其他好文 时间：
2020-01-27 19:11:38
阅读次数：
91
一、建立神经网络：Net(nn.Module) 1、创建层：__init__ 2、创建层关系：forward 二、创建神经网络：net = Net(1, 2, 1) 三、创建优化器：torch.optim.SGD(net.parameters(), lr=0.2) 四、创建损失函数：torch.nn ...
分类：
其他好文 时间：
2020-01-26 14:31:45
阅读次数：
85
本篇是一个练手项目，目的在于： 1. 熟悉 pytorch 2. 实现 SGD 与 动量梯度下降，并对比收敛性 手动实现线性回归模型，一个很简单的模型，不多介绍，直接上代码 import torch as t import matplotlib.pylab as plt ### 制造数据 def m ...
分类：
其他好文 时间：
2020-01-18 11:11:58
阅读次数：
130
