码迷,mamicode.com
首页 > 其他好文 > 详细

基于HDF5的高维数据有效

时间:2017-11-18 11:06:16      阅读:185      评论:0      收藏:0      [点我收藏+]

标签:交互   用途   cat   ref   使用   占用   编写   读取   读取数据   

代码:

https://github.com/JiJingYu/concat_dataset

Demo特点

该代码基于自行编写的H5Imageset类与pytorch中的ConcatDataset接口,主要有以下特点:

  1. 有效利用了hdf5读取数据时直接与硬盘交互,无需载入整个数据集到内存中的优势,降低内存开销。

  2. 重载了python内置的__getitem__()方法,使得数据动态生成,无需独立保存数据,降低磁盘开销。

  3. 利用pytorch内置的ConcatDataset类,高效合并多组H5Imageset数据集,统一调用,统一索引。

使用场景

该代码通常用于高维数据,如光场图像(4维),高光谱图像(3维),该类数据有数据量大,处理速度有限等特点。 传统的直接处理数据集、直接生成数据集、保存数据集的方法会使得数据量暴涨。例如ICVL数据集原始数据约30GB, patch=64, stride=16分割之后,数据集会暴涨至500GB,给磁盘、IO和内存带来巨大压力。 用该代码可在不增加磁盘占用,不损失数据集IO时间的前提下,对数据集做有效的预处理,如按patch分割等, 同时可以大幅度降低内存占用。

其他

由于空间有限,此处以少量RGB图像为例,简单展示demo用途。

made by 法师漂流

基于HDF5的高维数据有效

标签:交互   用途   cat   ref   使用   占用   编写   读取   读取数据   

原文地址:http://www.cnblogs.com/nwpuxuezha/p/7856004.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!