快速变换器

别人的汇总（似乎是搞图像的）

https://github.com/Separius/awesome-fast-attention

这是某个独立研究者从2018年写到2020年的论文，还会出现在2021年的WAVxxx?上

https://arxiv.org/pdf/1812.01243v9.pdf

谷歌把各种快速变换器做了个对比

Long Range Arena: A Benchmark for Efficient Transformers （就是下面那些图的来源）

https://arxiv.org/abs/2011.04006

Performer

https://zhuanlan.zhihu.com/p/280864164?utm_oi=58541947748352

https://arxiv.org/abs/2009.14794

Linformer

https://zhuanlan.zhihu.com/p/147225773

Linear Transformer

https://arxiv.org/pdf/2006.16236.pdf

Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention

https://github.com/lucidrains/linear-attention-transformer