码迷,mamicode.com
首页 > 其他好文 > 详细

Tensorflow-gpu训练SSD时遇到的问题及解决方法

时间:2020-07-20 22:25:21      阅读:94      评论:0      收藏:0      [点我收藏+]

标签:set   成功   tar   没有   窗口   占用   class   提升   ln -s   

训练环境与步骤参考链接:

https://www.cnblogs.com/hayley111/p/12918678.html

 

问题一:使用GTX2080的显卡,在batch_size只有8的情况下,训练速度只有2-3秒每步。

另开窗口使用如下指令查看GPU占用情况,指令如下:

nvidia-smi -l

结果如下:(如果你和我一样GPU占用率很低,说明cuda没有正常运行)

技术图片

问题原因:cuda没有成功启动,只有cudnn在运行。

解决方法:

第一步:重新切换到cuda10.0

切换cuda版本   tensorflow1.12使用cuda9.0   

yolo,tensorflow1.14等使用cuda10.0

cd /usr/local

删除之前的软链接

sudo rm -rf cuda

重新创建软连接到10.0

sudo ln -sf cuda-10.0 cuda

第二步:安装keras(我这里选的是2.2.4版本的)

pip install keras==2.2.4

第三步:修改train.py代码,增加几行代码如下:

import keras
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
keras.backend.tensorflow_backend.set_session(tf.Session(config=config))

添加位置如下:

技术图片

 

 重新执行你的训练指令就可以了。

正常使用GPU训练的情况下,GPU占用情况如下。

技术图片

 

 在我的训练中,成功启动cuda后,速度提升了10倍。

问题二:

慢慢补充ing

Tensorflow-gpu训练SSD时遇到的问题及解决方法

标签:set   成功   tar   没有   窗口   占用   class   提升   ln -s   

原文地址:https://www.cnblogs.com/vincent212212/p/13347265.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!