美文网首页
GPU资源耗尽

GPU资源耗尽

作者: 思君颜如玉 | 来源:发表于2018-08-09 10:05 被阅读0次

在使用kersa的时候出现如下关于gpu显存不够的的错误:

[ResourceExhaustedError :OOM when allocating tensor with shape []]

该问题是在运行过程中,tensor过大导致的分配不了相应的现存;
在这个问题上一定要好好看上面的shape具体是多少,然后推断究竟是模型中的哪个参数,需要注意的是shape第一个数可能是batch_size,也可能不是。一般的排查点是:
1.训练时batch_size太大,导入的数据太费显存了。这时的shape一定包含Batch_size
2.在训练过程中验证集设置太大,看看shape第一个数是不是验证集的size
3.模型参数尺寸过大。我当时报错的尺寸是500多万*2048,这很显然不是一个合理的参数,模型设置有问题。

相关文章

  • GPU资源耗尽

    在使用kersa的时候出现如下关于gpu显存不够的的错误: [ResourceExhaustedError :OO...

  • 【Linux备忘录】配置可使用的gpu资源

    通常实验室的gpu资源有限,而tensorflow默认使用gpu0,会造成冲突。如何设置只使用部分gpu资源呢,使...

  • 2019-11-19

    GPU 资源消耗原因和解决方案 GPU 资源消耗原因和解决方案 相对于 CPU 来说,GPU 能干的事情比较单一:...

  • kubernetes GPU资源

    现在找GPU的方法,简单粗暴,机器重启后,可能会以为kubelet较早启动(比nvidia device早),找不...

  • Colaboratory GPU资源

    https://zhuanlan.zhihu.com/p/34906221https://zhuanlan.zhi...

  • 拖延,直到耗尽资源

    罗辑思维《为什么会有拖延症》给出了一个观察拖延症的有趣视角——资源消耗。 我们从来不是一个干多少事,需要多少资源,...

  • Android性能测试之GPU

    卡顿 卡顿产生的原因: 1、CPU资源消耗原因;2、GPU资源消耗原因。 CPU上文已经阐述,接下来说一下GPU。...

  • 卡顿优化

    卡顿的原因:CPU和GPU的资源消耗或CPU使用率低 总结 解决方案很明了:降低CPU和GPU的资源消耗,提高CP...

  • ResourceExhaustedError :OOM when

    这个报错的原因有很多1、自身代码有问题,导致GPU内存不够用这个只能自查2、有未释放的GPU资源,导致GPU不够用...

  • 阿里云GPU云服务器产品优势、应用场景、最新价格介绍

    阿里云GPU云服务器提供GPU加速计算能力,实现GPU计算资源的即开即用和弹性伸缩。作为阿里云弹性计算家族的一员,...

网友评论

      本文标题:GPU资源耗尽

      本文链接:https://www.haomeiwen.com/subject/khexbftx.html