1. HDF5
HDF5 格式是一种很好用的储存大数据集的格式，与其他数据格式相比， HDF5的读取和储存的速度更快，如下图。
储存时间
加载时间
HDF5 的数据是分层储存的， 可以储存两类对象：
- dataset：类比于文件系统中的文件，可以操作list/ndarray的方式老操作它
- group：类比于文件系统的文件夹，可以用操作dict的方式来操作它
一个 group 里可以包含多个 group 或者 dataset。每个dataset 包括原始数据 (raw) data values 和 元数据 metadata，如下图。
Dataset
整个 HDF5文件结构如下。所有的 group 和 dataset 都在一个名叫 "/" 的 group 下。
HDF5
Python 的对应库为 h5py。
2. HDF5 数据读写
储存数据
import numpy as np
import h5py
A = np.random.randint(100, size=(4,4))
B = np.random.randint(100, size=(5,3,3))
# create hdf5 file
f1 = h5py.File("data.hdf5", "w")
# store matrix A
dset1 = f1.create_dataset("dataset1", (4,4), dtype='i', data=A)
# create a group
g1 = f1.create_group("group1")
dset2 = g1.create_dataset("dataset2", (5,3,3), dtype='i', data=B)
# add metadata
dset1.attrs['scale'] = 0.01
dset1.attrs['offset'] = 15
# close file
f1.close()
读入数据
f2 = h5py.File('data.hdf5', 'r')
# matrix A
dset1 = f2['dataset1'][:]
# matrix B
dset2 = f2['group1']['dataset2'][:]
3. pytorch dataloader 读取 HDF5 格式数据
利用 pytorch 的 dataloader 读取 HDF5格式的时候需要注意的是，不要在 __init__里打开 HDF5 数据，而是在读取数据的__getitem__里。因为直接在__init__里打开可能无法在 num_worker>1 的时候使用。
举个例子
class LXRTDataLoader(torch.utils.data.Dataset):
def __init__(self):
with h5py.File("img.hdf5", 'r') as f:
self.length = len(f['dataset']) # to get the length, do not load
def __len__(self):
return self.length
def open_hdf5(self):
self.img_hdf5 = h5py.File('img.hdf5', 'r')
self.dataset = self.img_hdf5['dataset'] # if you want dataset.
def __getitem__(self, item: int):
if not hasattr(self, 'img_hdf5'):
self.open_hdf5()
img0 = self.img_hdf5['dataset'][0] # Do loading here
img1 = self.dataset[1]
return img0, img1
如果想要在数据读取结束的时候关闭文件，可以加上下面这句，但是好像没有必要，因为在数据读取结束之后这个子进程就会关闭。
def __del__(self):
if hasattr(self, 'img_hdf5'):
self.img_hdf5.close()
参考：
网友评论