美文网首页
Transformers高效训练的综述

Transformers高效训练的综述

作者: Valar_Morghulis | 来源:发表于2023-02-05 09:53 被阅读0次

    A Survey on Efficient Training of Transformers

    2 Feb 2023

    https://arxiv.org/abs/2302.01107

    Bohan Zhuang, Jing Liu, Zizheng Pan, Haoyu He, Yuetian Weng, Chunhua Shen

    Transformers的最新进展对计算资源提出了巨大的要求,这突出了开发高效训练技术的重要性,通过有效使用计算和内存资源,使Transformers训练更快、成本更低、精度更高。本次调查首次系统地概述了Transformers的有效训练,涵盖了加速算法和硬件的最新进展,重点是前者。我们分析并比较了在训练期间为中间张量节省计算和存储成本的方法,以及硬件/算法协同设计技术。我们最后讨论了未来研究的挑战和前景。

    相关文章

      网友评论

          本文标题:Transformers高效训练的综述

          本文链接:https://www.haomeiwen.com/subject/ojvahdtx.html