The Forward-Forward Algorithm: Some Preliminary Investigations
https://arxiv.org/abs/2212.13345
https://paperswithcode.com/paper/the-forward-forward-algorithm-some-1
https://www.cs.toronto.edu/~hinton/FFA13.pdf
https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/forward_forward （1k stars）
Geoffrey Hinton
本文的目的是为神经网络引入一种新的学习过程，并证明它在一些值得进一步研究的小问题上足够有效。前向转发算法通过两个前向传递来代替反向传播的前向传递和后向传递，一个是正（即真实）数据，另一个是网络本身可能生成的负数据。每一层都有自己的目标函数，简单来说就是对正数据具有高优度，对负数据具有低优度。一个层中的平方活动的和可以用作优度，但也有很多其他的可能性，包括减去平方活动的总和。如果正传和负传可以在时间上分开，负传可以离线进行，这将使正传中的学习更加简单，并允许视频在网络中流水线传输，而无需存储活动或停止传播派生。
网友评论