- 这是用来控制多卡协作更新参数的方法，如果是在多卡上运行的那么就设置
bpe-backend=no_c10d，这样可以加快运算速度。 - 如果是在单卡上运行的那么即使设置了梯度累积也也要用默认的
bpe-backend=c10d
bpe-backend=no_c10d，这样可以加快运算速度。bpe-backend=c10d
本文标题：[fairseq] 关于bpe-backend
本文链接：https://www.haomeiwen.com/subject/njtzgqtx.html
网友评论