1. HDF5
HDF5 格式是一種很好用的儲存大數(shù)據(jù)集的格式，與其他數(shù)據(jù)格式相比， HDF5的讀取和儲存的速度更快，如下圖。
儲存時間
加載時間
HDF5 的數(shù)據(jù)是分層儲存的， 可以儲存兩類對象：
- dataset：類比于文件系統(tǒng)中的文件，可以操作list/ndarray的方式老操作它
- group：類比于文件系統(tǒng)的文件夾，可以用操作dict的方式來操作它
一個 group 里可以包含多個 group 或者 dataset。每個dataset 包括原始數(shù)據(jù) (raw) data values 和 元數(shù)據(jù) metadata，如下圖。
Dataset
整個 HDF5文件結(jié)構(gòu)如下。所有的 group 和 dataset 都在一個名叫 "/" 的 group 下。
HDF5
Python 的對應庫為 h5py。
2. HDF5 數(shù)據(jù)讀寫
儲存數(shù)據(jù)
import numpy as np
import h5py
A = np.random.randint(100, size=(4,4))
B = np.random.randint(100, size=(5,3,3))
# create hdf5 file
f1 = h5py.File("data.hdf5", "w")
# store matrix A
dset1 = f1.create_dataset("dataset1", (4,4), dtype='i', data=A)
# create a group
g1 = f1.create_group("group1")
dset2 = g1.create_dataset("dataset2", (5,3,3), dtype='i', data=B)
# add metadata
dset1.attrs['scale'] = 0.01
dset1.attrs['offset'] = 15
# close file
f1.close()
讀入數(shù)據(jù)
f2 = h5py.File('data.hdf5', 'r')
# matrix A
dset1 = f2['dataset1'][:]
# matrix B
dset2 = f2['group1']['dataset2'][:]
3. pytorch dataloader 讀取 HDF5 格式數(shù)據(jù)
利用 pytorch 的 dataloader 讀取 HDF5格式的時候需要注意的是，不要在 __init__里打開 HDF5 數(shù)據(jù)，而是在讀取數(shù)據(jù)的__getitem__里。因為直接在__init__里打開可能無法在 num_worker>1 的時候使用。
舉個例子
class LXRTDataLoader(torch.utils.data.Dataset):
def __init__(self):
with h5py.File("img.hdf5", 'r') as f:
self.length = len(f['dataset']) # to get the length, do not load
def __len__(self):
return self.length
def open_hdf5(self):
self.img_hdf5 = h5py.File('img.hdf5', 'r')
self.dataset = self.img_hdf5['dataset'] # if you want dataset.
def __getitem__(self, item: int):
if not hasattr(self, 'img_hdf5'):
self.open_hdf5()
img0 = self.img_hdf5['dataset'][0] # Do loading here
img1 = self.dataset[1]
return img0, img1
如果想要在數(shù)據(jù)讀取結(jié)束的時候關(guān)閉文件，可以加上下面這句，但是好像沒有必要，因為在數(shù)據(jù)讀取結(jié)束之后這個子進程就會關(guān)閉。
def __del__(self):
if hasattr(self, 'img_hdf5'):
self.img_hdf5.close()
參考：
