美文网首页
解决numpy.core._exceptions.MemoryE

解决numpy.core._exceptions.MemoryE

作者: 泡泡_e661 | 来源:发表于2020-08-22 00:34 被阅读0次

做机器学习数据预处理的时候遇到 numpy.core._exceptions.MemoryError: Unable to allocate array with shape (150000, 20, 1600) and data type float64. 主要是因为内存大小不足导致的问题,还有出现OSError: [Errno 12] Cannot allocate memory这个错误,也是由于内存不足引起的。如果是运行在linux系统下,可以用cat /proc/meminfo 指令查看可使用内存是多少。同时在程序运行期间,可以使用top  -u user(程序运行时的用户名)来监测内存使用情况。

解决上述2个内存问题:

    1. 如果可以继续分配内存,增加内存空间的大小。监测程序运行过程使用的内存峰值,确定需要增加多少内存空间。如果没有可以分配的内存可以直接尝试步骤2的方法,但不确保可以完全解决问题。

    2. 如果增加内存空间之后仍有内存问题,使用cat /proc/sys/vm/overcommit_memory 指令,如果返回结果是0,可以作为root用户,使用echo 1 > /proc/sys/vm/overcommit_memory 将其值改为1. 

如果在完成步骤1,2 之后,仍有内存问题,可能需要增加内存条,或者使用GPU(之后会尝试是否可以解决上述问题)。如果哪位小伙伴有更好的解决办法,欢迎留言交流。谢谢🙏

如果觉得本文有帮助,请点个赞👍吧,如果喜欢我的文章,请点击关注,谢谢!!!

相关文章

  • 解决numpy.core._exceptions.MemoryE

    做机器学习数据预处理的时候遇到 numpy.core._exceptions.MemoryError: Unabl...

  • 【解决】

    解决理想 解决生活 解决让我平凡的错 解决孤单 解决折磨 解决一开始就着了的魔 解决饥饿 解决战火 解决核时代被抽...

  • 报错集锦

    问题一: 解决: 问题二: 解决: 问题三: 解决: 问题四: 解决: 问题五: 解决:

  • 解决 问题 解决

    你解决一个问题,就像当于解决无数个问题。听到这句话的时候我已经毕业了。回想之前的学习经历,一张试卷,碰到难题就放那...

  • some

    枪解决了, 炮解决了, 人解决了, 衣服解决了, 时间解决了, 地方解决了, 就看着车马飞驰, 结局降临, 吾事已毕。

  • 我还是在这里

    生活不能解决的事情,日记可以解决;日记不能解决的事情,思想可以解决;思想不能解决的事情,放空可以解决;放...

  • 页面布局(三栏布局)

    浮动解决方案 绝对定位解决方案 flexbox解决方案 表格布局解决方案 网格布局解决方案

  • 忙起来

    忙碌,能解决很多问题 解决你胡思乱想的问题 解决你彷徨迷茫的问题 解决你痴心妄想的问题 解决你自卑弱小的问题 解决...

  • ……纵情沉浸于清愁与静谧吧

    生活不能解决的事情,日记可以解决;日记不能解决的事情,思想可以解决;思想不能解决的事情,放空可以解决;放空不...

  • 《慧杰语录》——每日必读

    劳动,解决吃饭的问题。 工作,解决生存的问题。 能力,解决存在的问题。 素质,解决关系的问题。 奋斗,解决态度的问...

网友评论

      本文标题:解决numpy.core._exceptions.MemoryE

      本文链接:https://www.haomeiwen.com/subject/ozcttktx.html