码迷,mamicode.com
首页 > 其他好文 > 详细

pytorch中动态调整学习率

时间:2019-11-04 21:30:53      阅读:88      评论:0      收藏:0      [点我收藏+]

标签:div   log   data   size   range   article   detail   highlight   pos   

https://blog.csdn.net/bc521bc/article/details/85864555

这篇bolg说的很详细了,但是具体在代码中怎么用还是有点模糊。自己试验了一下,顺路记一下,其实很简单,在optimizer后面定义一下,然后在每个epoch中step一下就可以了。一开始出错是因为我把step放到

T_optimizer.step()后面了,导致一个epoch后小到看不出来了.
T_optimizer = SGD(net.parameters(), lr=LR, weight_decay=0.0005, momentum=0.9)
scheduler = lr_scheduler.StepLR(T_optimizer, step_size=30, gamma=0.5)

for epoch in enumerate(range(startepoch, startepoch + EPOCH)): for anc, pos, neg in Triplet_data: net.zero_grad() anc_feat = net(anc.to(device)) pos_feat = net(pos.to(device)) neg_feat = net(neg.to(device)) tri_loss = T_loss(anc_feat, pos_feat, neg_feat) tri_loss.backward() T_optimizer.step() ave_loss = np.mean(loss_np) scheduler.step()#LR减小

pytorch中动态调整学习率

标签:div   log   data   size   range   article   detail   highlight   pos   

原文地址:https://www.cnblogs.com/jiangnanyanyuchen/p/11794825.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!