内容好多,一点一点更把.....
一、数据
- 深度模型常见加速训练策略数据篇(一)---load内存
- 深度模型常见加速训练策略数据篇(二)---私有线程池
- 深度模型常见加速训练策略数据篇(三)---渐进式缩放
- 深度模型常见加速训练策略数据篇(四)---数据预处理
二、模型
- 深度模型常见加速训练策略模型篇(一)---模型压缩介绍
- 深度模型常见加速训练策略模型篇(二)---量化
- 深度模型常见加速训练策略模型篇(三)---剪枝
- 深度模型常见加速训练策略模型篇(四)---正则化
- 深度模型常见加速训练策略模型篇(五)---蒸馏
- 深度模型常见加速训练策略模型篇(六)---张量分解
- 深度模型常见加速训练策略模型篇(七)---简化算子(conv)
- 深度模型常见加速训练策略模型篇(八)---AutoML
- 深度模型常见加速训练策略模型篇(九)---元学习
三、架构
- 深度模型常见加速训练策略架构篇(一)---分布式训练介绍(并行+架构)
- 深度模型常见加速训练策略架构篇(二)---混合精度训练
- 深度模型常见加速训练策略架构篇(三)---低比特训练
- 深度模型常见加速训练策略架构篇(四)---分布式梯度压缩
- 深度模型常见加速训练策略架构篇(五)---分布式通信库
- 深度模型常见加速训练策略架构篇(六)---图编译
四、调参
深度模型常见加速训练策略调参篇(一)---pre-trained model
深度模型常见加速训练策略架构篇(二)---学习率
深度模型常见加速训练策略架构篇(三)---整体调优(贝叶斯优化、HyberBand)
五、硬件
- 深度模型常见加速训练策略硬件篇(一)---GPU+TPU
- 深度模型常见加速训练策略架构篇(二)---内核库(cuDNN(NN加速库)和cuBLAS(线性计算库))
- 深度模型常见加速训练策略架构篇(三)---推理加速(tensorRT、谷歌tensorflow XLA、DMLC:TVM; 百度Anakin; 阿里:MNN。深度学习编译器的优化)
网友评论