相关文章

• 

  找分布式工作复习学习系列---常见大模型解读（八）

  GPT-3 MLP-Mixer Swich transformer (bert, vit已经介绍过，具体参考之前博...

• 

  找分布式工作复习学习系列---常见优化库源码解读（七）

  https://zhuanlan.zhihu.com/p/391947979[https://zhuanlan.z...

• 

  找分布式工作复习学习系列---市面分布式框架解析之Deepspe

  一、Deepspeed 核心是zero优化器 1、总览 微软开发ZeRO是为了克服数据并行性和模型并行性的限制，同...

• 

  找分布式工作复习学习系列---市面分布式框架解析之Megatro

  想玩转GPT3这样的超大规模模型（例如175billion parameters=1750亿），那就有必要详细了解...

• 

  找分布式工作复习学习系列---市面分布式框架解析之Tensorf

  占个坑，未完待续 Referencehttps://zhuanlan.zhihu.com/p/57196630[h...

• 

  复习系列-2 jvm内存模型

  复习系列-2 jvm内存模型

• 

  Zookeeper使用篇-Zookeeper系统核心模型

  前言 上篇我们学习了Zookeeper在分布式下的常见场景与解决方案，本篇我们开始学习Zookeeper核心模型，...

• 

  找分布式工作复习学习系列---市面分布式框架解析之Ray（四）

  一、背景 Ray 的设计目标是比 Spark 、MapReduce 数据流更灵活，比 Orleans 等 Acto...

• 

  学习动力模型

  学习动力引导模型深度解读（一） 2022.04.29 | 3491 次学习 清扬婉兮 学习动力引导模型深度解读(一...

• 

  找分布式工作复习学习系列---分布式训练原理再回顾(计算通信I/

  一、Pytorch DP, DDP原理 https://zhuanlan.zhihu.com/p/34395104...