缘起

根据 https://zhuanlan.zhihu.com/p/208842196 大神的测试，HDF5具有性能优势

安装

conda install h5py

数据写入

import numpy as np
import h5py

hf = h5py.File("test.hdf5",'w')
data = np.random.randn(10000,100,1000)
labels = np.random.randint(100, size=(1000))
hf.create_dataset("data",data=data)
hf.create_dataset("labels",data=labels)
hf.close()

数据读取

逐步讲解， 在使用时候若不明确指明数据，就不将数据加载到内存。

f = h5py.File("test.hdf5", "r") # 打开文件
db = f['data'] # 获得索引，不加载到内存
print(db.shape) # 同样不将数据加载到内存
xx =db[100,:,:] # **加载到内存**
f.close() # 常规关闭文件，建议用with语句

with 语句版本

f = h5py.File("test.hdf5", "r")
for key in f.keys():
    print(key) #Names of the root level object names in HDF5 file - can be groups or datasets.
    print(type(f[key]))
    # print(f[key].value)
    data = np.array(f[key])
    print(data)

其他

如果你的数据真的非常大（大数据），一个data放不下（内存放不下），那么可以使用 pytables ,中文博客也有些介绍的，https://blog.csdn.net/q7w8e9r4/article/details/133855371