本来以为服务器上不会出现内存不够的情况，看来还是我低估了数据量啊，怎么解决呢，在没有办法增加GPU 资源的情况下，只能减小你的batch_size了，减到了8勉强能跑通。
这个batchsize调节有什么作用呢：在合理范围内，增大 Batch_Size 有何好处？
内存利用率提高了，大矩阵乘法的并行化效率提高。
跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。
在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。
盲目增大 Batch_Size 有何坏处？
内存利用率提高了，但是内存容量可能撑不住了。
跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢。
Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。
嗯，以上是我从知乎上的一个答案里看到的，复制过来自己学习！！希望作者不要看到（偷笑）
网友评论