深度学习模型压缩和加速主要有以下几个方向：更小更快的网络结构设计、模型裁剪以及核稀疏化、量化、Low-rank分解、知识蒸馏。
我们可以根据目的给它们分类：只是为了减小存储、减小存储的同时加快前向运算。很多时候我们进行模型压缩只减小了存储模型的空间，对于加速并没有多少提升。
现在的深度学习模型压缩框架主要由以下几个：
1）Deep Compression 裁剪、量化
https://github.com/songhan/Deep-Compression-AlexNet
2）XNorNet 二值网络
https://github.com/ayush29feb/Sketch-A-XNORNet
3）transform_graph（tensorflow）裁剪、量化
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/tools/graph_transforms
4）PocketFlow 裁剪、稀疏化、量化、蒸馏
https://github.com/Tencent/PocketFlow
5）Distilling 裁剪、稀疏化、量化、知识蒸馏
https://github.com/NervanaSystems/distiller
网友评论