码迷,mamicode.com
首页 > 其他好文 > 详细

07梯度下降策略

时间:2021-03-06 14:41:58      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:调整   loading   完成   策略   nbsp   算法   http   梯度   如何   

梯度下降:

θ 不一定可求。找最低点:每走一步求偏导调整方向。

第一步: 获得目标函数

第二步:交给机器一堆数据,告诉它想要的最终结果,告诉他什么样的算法。

第三步: 如何优化。迭代10000次。完成迭代

技术图片

 

 

 技术图片

 

 

 随机点,更新参数。

计算损失函数,每个样本都要参数计算。

技术图片

 

 

 数据存在: 离群点,噪音点。

小批量: 提取一部分数据。16,64,128 .

梯度下降:学习率多大。对结果影响巨大。小的学习率进行学习,利用比较大的迭代次数进行迭代。

 

技术图片

 

 

 批处理数据对结果影响很大。

 

07梯度下降策略

标签:调整   loading   完成   策略   nbsp   算法   http   梯度   如何   

原文地址:https://www.cnblogs.com/countryboy666/p/14488684.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!