EASGD
from:http://joerihermans.com/ramblings/distributed-deep-learning-part-1-an-introduction/
这种算法每次迭代完成后会将worker的平均扔给全局参数,worker自己更新的时候除了要更新梯度,还要考虑全局参数
worker与server更新的公式
不同大小的ρ(弹性系数)所带来的影响
- 不像downpour有很多通信窗.
- 因为较长时间才和ps通信一次,worker有机会去探索临近的参数空间
- 作者反驳:只有worker的参数在central variable(ps维护的参数)附近时这才是有用的,但是EASGD并没有和central variable 进行同步,因此EASGD是否能够较好的收敛我们还要打个问号❓
- worker覆盖不同的参数空间时会导致不收敛.
- ρ (elasticity parameter 弹性参数)太小时,也就是说与central variable的联系更加松时,每个worker将探索自己的参数空间,可能导致模型的不收敛(公式2)
- 解决办法是:满足某个条件后就只更新梯度,不算别的
网友评论