在论文中，作者提出了先训练一个大的笨重的模型，再使用distilling来将笨重的模型的知识迁移到小的模型中，用于实际部署。
通常情况下，我们认为一个模型的知识保存在它的参数中，这使得我们很难想象到如何来改变模型，而不丢失知识。然后，另一种较为抽象的对待知识的角度，是将知识看作是输入到输出的映射。
一种简单地将大模型的泛化性能转移到小模型的方式是，将大模型得到的类别概率作为小模型的soft targets来训练。
当soft targets有很高的entropy时，它们能够提供足够多的信息，同时拥有较低的variance，所以小模型只需要很小的数据就能训练，也可以使用很大的学习率。
通常情况下，我们使用softmax来将logit转变为概率
，如下：
（1）
2
3
1. 介绍 在论文中，作者提出了先训练一个大的笨重的模型，再使用distilling来将笨重的模型的知识迁移到小的...
Approach 训练和部署阶段采用不同的模型形态，可以类比于自然界中很多昆虫有多种形态以适应不同阶段的需求。具体...
贡献 提出 知识蒸馏 （Knowledge Distillation） 方法，从大模型中学习到的知识中学习有用信息...
参考资料 Distilling the Knowledge in a Neural Networkhttps://...
知识蒸馏-Distilling the knowledge in a neural network 作者：支广达 ...
英文题目：Distilling the Knowledge in a Neural Network中文题目：神经网...
Microsoft在2020年提出了TwinBERT: Distilling Knowledge to Twin-...
论文题目：Distilling Task-Specific Knowledge from BERT into Si...
英文题目：Distilling Task-Specific Knowledge from BERT into Si...
1.原理介绍 知识蒸馏论文地址 Hinton的文章《Distilling the Knowledge in a N...
本文标题：Distilling the Knowledge in a Ne
本文链接：https://www.haomeiwen.com/subject/bnmscqtx.html
网友评论