先训练一个大模型，再训练一个小模型学习大模型的输出。
大模型不仅学到了类别，还学到了类别之间相似的东西，比真实label更多信息，不知告诉这个图片是1，还告诉它和7/9很像。
从来不给小模型看7，但是因为大模型会教他，所以可能也能得到正确的结果。
学生模型多任务，与老师的soft target的loss是kl散度，真实label的loss是交叉熵。
比赛中用模型融合，但是实际中不能用多个模型，但是学生模型可以学习多个模型，学习融合模型的平均输出。一个模型就能达到模型融合的效果。
不用onehot，使用一个温度t，拉近不同label间的分数。
（助教在实验中发现知识蒸馏没有特别有用）
先训练一个大模型，再训练一个小模型学习大模型的输出。 大模型不仅学到了类别，还学到了类别之间相似的东西，比真实la...
摘要：知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法 一、知识蒸馏入门 1.1...
知识蒸馏解决的问题 提升模型精度 降低模型时延，压缩网络参数 标签之间的域迁移 基本框架 知识蒸馏采取Teache...
知识蒸馏（Knowledge Distillation）： 知识蒸馏即将知识从「教师」模型迁移到「学生」模型，执行...
1.什么是知识蒸馏 最近利用知识蒸馏的方法，对业务中的性能有了可观的提升，因此在这里总结一波。本文主要从宏观的角度...
Given an image of a dog, a good teacher network may mista...
1. 到底什么是知识蒸馏？ 一般地，大模型往往是单个复杂网络或者是若干网络的集合，拥有良好的性能和泛化能力，而小模...
模型压缩是个很大的罩子，其中一些内容比如模型剪枝，知识蒸馏是现在的研究热点。本菜鸟想蹭热点但是水平有限，所以暂时只...
近年在计算机视觉、语音识别等诸多领域，深度神经网络(DNN, Deep Neural Network)被证明是一种...
[TOC] 1. 模型蒸馏 1. DistilBERT（2019.10.2） 知识蒸馏的基础原理： 定义两个网络，...
本文标题：模型压缩（二）：知识蒸馏
本文链接：https://www.haomeiwen.com/subject/uirowhtx.html
网友评论