美文网首页
memory error解决办法

memory error解决办法

作者: sidyph | 来源:发表于2018-09-12 14:24 被阅读0次

说明:memory error是指的内存错误,可能导致读写报错,并且数据大小变为0kb。

解决方法一:
尽量缩小需要读写的文件的大小,防止一下子读写大容量数据到内存里导致错误。
举例1:抓取数据的时候不是按年而是按月抓取。这样单个文件的数据量就比按年的小一个数量级。
举例2:把待下载的数据拆分为每1000行一个数据,然后再下载。

解决办法二:
pachram回收内存的节奏比较慢,有时候需要等整个for循环执行结束后才会回收内存。
这个时候可以主动回收内存。通过以下方法:
1.手动del这个变量,del x (删除) 然后import gc, 然后手动gc.collect() (回收)

解决办法三:
如果是32位的内存只能用2G,这也是个限制。

相关文章

网友评论

      本文标题:memory error解决办法

      本文链接:https://www.haomeiwen.com/subject/vplvgftx.html