码迷,mamicode.com
首页 > 其他好文 > 详细

Pytorch IO提速

时间:2019-05-28 12:48:25      阅读:120      评论:0      收藏:0      [点我收藏+]

标签:data-   www   arc   for   nbsp   shu   try   repo   top   

1. 把内存变成硬盘,把需要读的数据塞到里面去,加快了io。

如何给你PyTorch里的Dataloader打鸡血

轻轻松松为你的Linux系统创建RAM Disk

把内存当硬盘,提速你的linux系统

Linux创建使用内存硬盘(RAM DISK)

 

2. 使用英伟达的 /DALI 模块

A library containing both highly optimized building blocks and an execution engine for data pre-processing in deep learning applications

Pytorch_example

 

3. 使用英伟达的 /apex 模块

 

Pytorch IO提速

标签:data-   www   arc   for   nbsp   shu   try   repo   top   

原文地址:https://www.cnblogs.com/king-lps/p/10936374.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!