美文网首页
YOLOv5在COCO数据集上训练需要的内存大小

YOLOv5在COCO数据集上训练需要的内存大小

作者: LabVIEW_Python | 来源:发表于2022-08-20 15:45 被阅读0次

YOLOv5在COCO数据集上训练需要的内存大小:128GB
测试过程中,虚拟内存使用了61GB,内存使用了14.1GB,总数为75GB,但在这种情况下,还报错!

内存不足报错 实验数据

注意:

  1. 对于workers,并不是越大越好,太大时gpu其实处理不过来,训练速度一样,但虚拟内存(磁盘空间)会成倍占用;对于单机单卡,workers=4就好,大于4,训练速度也没有明显提升,反而增加了虚拟内存的使用
  2. 对于batch-size,实际测试下来,发现当为8的倍数时效率更高一点,即 batch-size 32的效率反而会高于batch-size 34。

实际测试下来,在32GB内存,1080Ti 11G显存的系统上,workers=4,batch-size=32基本达到上限了。

workers=4,batch-size=32

workers=4,batch-size=32配置下,内存=10GB,虚拟内存50GB,总共需要60GB,64GB内存可能ok,但是要测试!

内存消耗60G

workers=4,batch-size=32配置下,经过测试,内存稳定在11.8GB,虚拟内存45.7/56.1GB,显存训练时6.4GB,评估时会增加到10.6GB。证明在单机单卡上,workers=4,batch-size=32已经基本榨干了1080Ti了

YOLOv5s在COCO数据集上训练

相关文章

网友评论

      本文标题:YOLOv5在COCO数据集上训练需要的内存大小

      本文链接:https://www.haomeiwen.com/subject/lqfmgrtx.html