一、写在前面

本文是 MIT CSAIL & Google Research 在2020年关于 Few-Shot Learning的又一篇力作，受 ICLR 2020 的经典文章 A baseline for few-shot image classiﬁcation 启发，提出了如下假设：

Embeddings are the most critical factor to the performance of few-shot learning/meta learning algorithms; better embeddings will lead to better few-shot testing performance (even with a simple linear classier)

二、主要内容

2.1 backgrounds

meta-learning 大致分为两个主要思路：

Optimization-based methods
Metric-based methods

few-shot classiﬁcation tasks 也有两个思路：

meta-learning 方法
学习好的表征 representation

2.2 related work

Metric-based meta-learning
- Siamese neural networks for one-shot image recognition（ICML 2015）
- Matching networks for one shot learning （NIPS 2016）
- Prototypical networks for few-shot learning （NIPS 2017）
- ...
Optimization-based meta-learning
- Optimization as a model for few-shot learning (ICLR 2017)
- MAML - Modelagnostic meta-learning for fast adaptation of deep networks. (ICML 2017)
- ...
Meta-learning datasets
- Omniglot
- Meta-dataset
- mini-ImageNet
- ...

2.3 motivation

Few-shot classiﬁcation中一直有这样一个问题：meta-learning 和 representation-learning 哪个表现更好。最近的文章发现仅用常规的模型做 fine-tuning，就可以达到与最好的meta-learning方法差不多的效果。因此本文探索在Few-shot classiﬁcation中如何学习好的 representation。

三、文章方法

3.1 key idea

正如题目所说，A Good Embedding is All You Need。本文提出一个简单的few-shot classiﬁcation baseline，学习 good learned representations 可以干掉一众 meta-learning algorithms

3.2 methods

具体怎么学习 good learned representations ？

meta-training阶段，在组合训练集（可以理解为大规模数据集）上训练一个图像分类任务得到 embedding model，固定参数。

meta-testing 阶段，将所有的 support images 和 query images 输入至上一步训练好的embedding model 得到对应的 embeddings （与组合训练集可以不同分布）
然后用support images embeddings 训练一个简单的线性模型 base learner
最后将 query images embeddings 输入至线性模型中得到分类结果

值得注意的是，meta-testing 阶段中，每个task（个人理解是一组[support set, query set]）都对 base learner 初始化再重新学习。
此外，作者使用知识蒸馏（Knowledge distillation）得到了一个新的 embedding model ，获得了更好的效果（2-3个点）