码迷,mamicode.com
首页 > 其他好文 > 详细

全连接层提速

时间:2019-08-25 16:12:22      阅读:81      评论:0      收藏:0      [点我收藏+]

标签:全连接   参数   nbsp   png   splay   block   for   中间   图片   

分类和位置调整都是通过全连接层(fc)实现的,设前一级数据为技术图片后一级为技术图片,全连接层参数为技术图片,尺寸技术图片,一次前向传播(forward)即为:

技术图片

计算复杂度为技术图片

技术图片进行SVD分解,并用前t个特征值近似:

技术图片

原来的前向传播分解成两步:

技术图片

计算复杂度变为 技术图片

在实现时,相当于把一个全连接层拆分成两个,中间以一个低维数据相连:

技术图片

 

全连接层提速

标签:全连接   参数   nbsp   png   splay   block   for   中间   图片   

原文地址:https://www.cnblogs.com/pacino12134/p/11407924.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!