码迷,mamicode.com
首页 > 其他好文 > 详细

混合精度训练

时间:2019-08-12 01:00:37      阅读:90      评论:0      收藏:0      [点我收藏+]

标签:方法   深度学习   span   不同的   mic   ros   不同   href   应用   

论文:https://arxiv.org/pdf/1710.03740.pdf

译文:混合精度训练

摘要

增加神经网络的size,可以提高准确率。但同时,也加大了训练模型所需的内存和计算量。我们介绍一种使用半精度浮点数来训练深度神经网络的方法,不会损失准确率,也不需要修改超参数

介绍

深度学习让很多不同的应用都取得了很大的进步,图像识别、语言建模、机器翻译和语音识别等等。这也衍生出两个关键的问题,更大的数据集和更复杂的模型

更大的模型通常需要更多的计算量和内存来训练。

混合精度训练

标签:方法   深度学习   span   不同的   mic   ros   不同   href   应用   

原文地址:https://www.cnblogs.com/yangwenhuan/p/11337203.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!