如题所述,我在思考这个问题,或者我已经做了一点点尝试,确实,使用npy保存的图像格式读取速度慢到了极致,且占用空间是png的两倍以上。
但是我不是很确定,因此想问问大家,是我的程序的问题还是npy并不适合保存大量的数据?谢谢!
python是非常缓慢的语言,大量数据操作,用c写成库再给python调用。一个图片动辄几百KB甚至MB,循环处理非常耗时。
建议保存为 .npz 格式,亲测,很快的
import pandas as pd
import numpy as np
real_data=pd.read_csv('data.csv').values.astype('float32')
np.savez('data.npz',data=real_data);