论文题目：Synthesizing Optimal Collective Algorithms
文章时间：arxiv 20.08
会议/期刊：PPoPP 2021-02-17，best paper
作者背景：澳洲国立大学，微软研究院Redmond
笔记时间：2021年09月13日周一
论文地址：ppopp
作者视频：b站
abstract
集合通讯现在是瓶颈，所以本文介绍一个合成集合通讯库，一个针对不同的拓扑合成集合通讯算法的系统方法。算法达到延迟和带宽的Pareto-frontier。本文展示了如何encode合成问题，来进行理论证明。我们在两种硬件上合成了两种文献中没有见过的最优延迟和带宽算法。
insight:
在不同的数据大小的情况，不同的算法有着不同的效果，设计一个新的通讯库，可以利用数据传输的大小，来设计最合理的传输算法。
最大贡献是形式化描述和验证？
论文用自动化的方式，设计了一个通讯算法选择的调度器，调度器依赖环境数据，自己生成最优的调度算法编排。是一个很好的idea。
论文题目：Synthesizing Optimal Collective Algorithms文章时间：arxiv...
论文题目：Heterogeneity-Aware Distributed Machine Learning Tra...
Deep Snow: Synthesizing Remote Sensing Imagery with Gener...
优化器（optim） 优化算法模块(torch.optim) torch.optim 实现了丰富的优化算法，包括S...
torch.optim : torch.optim是实现各种优化算法的包 要使用torch.optim，必须构造一...
01 - What is an optimizer What is an optimizer?: An optim...
torch.optim is a package implementing various optimizati...
torch.optim torch.optim是一个实现了各种优化算法的库。大部分常用的方法得到支持，并且接口具备...
torch.optim.SGD(params, lr=
BOFFIN TTS: FEW-SHOT SPEAKER ADAPTATION BY BAYESIAN OPTIM...
本文标题：[DLtrain/Comm]Synthesizing Optim
本文链接：https://www.haomeiwen.com/subject/oqefgltx.html
网友评论