码迷,mamicode.com
首页 > 其他好文 > 详细

梯度下降法和随机梯度下降法的区别

时间:2020-04-06 17:51:21      阅读:101      评论:0      收藏:0      [点我收藏+]

标签:数学模型   http   控制   模型   避免   计算   之一   通过   梯度   

梯度下降和随机梯度下降之间的关键区别:
  1、标准梯度下降是在权值更新前对所有样例汇总误差,而随机梯度下降的权值是通过考查某个训练样例来更新的。
  2、在标准梯度下降中,权值更新的每一步对多个样例求和,需要更多的计算。
  3、标准梯度下降,由于使用真正的梯度,标准梯度下降对于每一次权值更新经常使用比随机梯度下降大的步长。
  4、如果标准误差曲面有多个局部极小值,随机梯度下降有时可能避免陷入这些局部极小值中。

  相关知识:
  1、梯度下降法是一个最优化算法,通常也称为最速下降法最速下降法是求解无约束优化问题最简单和最古老的方法之一,虽然现在已经不具有实用性,但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的,最速下降法越接近目标值,步长越小,前进越慢。
  缺点:
  (1)靠近极小值时收敛速度减慢。
  (2)直线搜索时可能会产生一些问题。
  (3)可能会“之字形”地下降。
  2、随机并行梯度下降算法,简称SPGD算法。作为一种无模型优化算法,比较适用于控制变量较多,受控系统比较复杂,无法建立准确数学模型的最优化控制过程。

梯度下降法和随机梯度下降法的区别

标签:数学模型   http   控制   模型   避免   计算   之一   通过   梯度   

原文地址:https://www.cnblogs.com/Ph-one/p/12642772.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!