利用h5py存储数据

标签：文件夹   大小   设置   分块   滤波   数组   数据压缩   dataset   利用   

两类容器：group & dataset

group类似文件夹，字典。 dataset是数据集，类似数组

支持更多的对外透明的存储特征，数据压缩，误差检测，分块传输

import h5py

读：

f = h5py.File(file, mode=‘r‘)

f.keys()

dset = f[‘mydataset‘]

写：

f = h5py.File(file, mode=‘w‘)

dset = f.create_dataset(name, dataOrSize, dtype, )

可选项：

chunks: True自动分块， 如果手动分块则输入元组

可以对数据块设置attrs

dset.attrs[‘abc‘] = 1

高级特性：

滤波器组？加入参数compression = ‘gzip‘

hdf5文件本身大小没有限制

一个dataSet最多32维， 每个维最多2^64个值

一个chunk最大4G，

利用h5py存储数据

标签：文件夹   大小   设置   分块   滤波   数组   数据压缩   dataset   利用   

原文地址：http://www.cnblogs.com/yesuuu/p/6530367.html