[SysML/Comm]Adaptive Communicati

2021-07-14
Adaptive Communication Strategies to Achieve the Best Error-Runtime Trade-off in Local-Update SGD
视频

大意：ML多机器训练的时候，有BSP，也有ASP，还有混合SP，但是混合的情况下，多久barrier一次，这个迭代的次数在ML训练的不同阶段有不同的影响，为此，我们设计了一个新的算法，adaptive的调整迭代的次数，达到在准确度和时间之间的平衡。

具体的内容没看，最大的insight就是periodic-averaging strategy？

还没了解清楚上下文。