码迷,mamicode.com
首页 > 其他好文 > 详细

经典CNN模型计算量与内存需求分析

时间:2018-05-09 10:15:33      阅读:571      评论:0      收藏:0      [点我收藏+]

标签:ali   cep   计算   float   order   enter   ima   1.2   cin   

 

表1 CNN经典模型的内存,计算量和参数数量对比

 

AlexNet

VGG16

Inception-v3

模型内存(MB)

>200

>500

90-100

参数(百万)

60

138

23.2

计算量(百万)

720

15300

5000

 

1. CNN模型具体分析(以AlexNet网络模型为例)

1.1 网络结构

 

 技术分享图片

图1 AlexNet网络结构

 

AlexNet有5个卷积层和3个全连接层

C1:96×11×11×3 (卷积核个数/宽/高/深度)               34848个

C2:256×5×5×48(卷积核个数/宽/高/深度)           307200个

C3:384×3×3×256(卷积核个数/宽/高/深度)         884736个

C4:384×3×3×192(卷积核个数/宽/高/深度)         663552个

C5:256×3×3×192(卷积核个数/宽/高/深度)         442368个

R1:4096×6×6×256(卷积核个数/宽/高/深度)       37748736个

R2:4096×4096                                                        16777216个

R3:4096×1000                                                        4096000个

共6000万个参数

 

1.2 AlexNet模型内存大小计算

6000万(个参数)×32位(float32)=19.2亿位≈228.88MB

 

1.3 AlexNet模型计算力消耗

技术分享图片 

图2 AlexNet模型每层每秒浮点运算次数及参数数量

 

1.4 AlexNet网络模型配置

AlexNet网络模型获得了2012年ImageNet比赛的冠军。AlexNet使用两块GTX580显卡进行训练,两块GPU各训练网络的一部分,在第二个卷积层和全连接层两块GPU之间才进行互相通信。

 

经典CNN模型计算量与内存需求分析

标签:ali   cep   计算   float   order   enter   ima   1.2   cin   

原文地址:https://www.cnblogs.com/sindy-zhang/p/9012340.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!