1.当内存不足遇上超大的数据
1.1https://www.kaggle.com/c/talkingdata-adtracking-fraud-detection/discussion/56105
1.2https://blog.csdn.net/xingkong_dahai/article/details/77140918
分块读取完后,对int,float和object进行修改类型,可以节省很多内存,然后再保存成pickle文件,下次再读该文件的时候,速度也可以快很多,而且内存也小。
还有hdf5哦
网友评论