论文阅读“Cluster-Based Active Learni

Perez F, Lebret R, Aberer K. Cluster-based active learning[J]. arXiv preprint arXiv:1812.11780, 2018.

摘要导读

这项工作引入了基于聚类的主动学习，通过使用聚类来促进主动学习，减少训练深度神经网络所需的人类交互的数量。 实验表明，与完全监督的训练相比，提出的框架对CIFAR- 10和EuroSAT数据集的人类交互分别减少了82%和87%，同时在测试集上保持相似的性能。

模型记录

基于聚类的主动学习框架包括将聚类过程和类簇标记步骤添加到通用的pool-based的主动学习框架中。在注释步骤中，它可以要求由专家来标记类簇，或标记基于某些获取标准的单个样本（例如，最不确定的样本），或两者都进行标记。当同时要求对两者（类簇和单个样本）都进行标记时，其顺序很重要；也就是说，专家可以首先标记最不确定的样本，然后进行类簇的标记，反之亦然。

下图展示了在每个迭代中对应的主动学习的流程（网图），按照论文的描述，“样本选择策略”在本研究中可以细化为：（1）先聚类再选择不确定的样本进行标记（🤩 这不是和昨天kbs的思想一毛一样么）；（2）先进行不确定样本标记在聚类。从操作手段来说，这两种方式都收益于聚类过程而减少了人工交互。

类簇标记步骤是通过向专家展示对应于类簇的样本的可视化来执行的，如果大多数样本都来自同一个类，那么专家就可以决定用一个标签来标记该类簇。否则，专家将不会对该类簇进行标记。对于专家而言，可以快速地浏览类簇内包含的图像，并决定是否要对其进行标记。由于对类簇进行标记或对单个图像进行标记所需的工作和时间是相似的，在本研究中将它们视为一个同等的人工交互。

下图显示了呈现给专家以进行标记的类簇的真实示例。

实验结果

这里选取了论文中的部分实验进行展示，用于说明在不同“样本选择策略”中，对于标记样本的需求量和最终测试集上的效果。

说明引入基于聚类的主动学习框架，可以减少训练CNN进行图像分类所需的人类交互的数量，而且这种数量的减少并不会影响模型的性能。

---

基于聚类的主动学习的关键在于专家可以利用聚类可视化判断得到的类簇是否值的标记，在序列数据上可能无法进行直观的展示，这点作者在结论中也进行了总结。从基于聚类的主动学习的思想来看，还是很有实践意义的。之前看的KBS主动学习论文，在忽略前序表示学习的部分（基于人工标记构造了Must-link和Cannot-link对比损失进行表示学习），其思想可以归结为对Embedding的先进行聚类再选择不确定样本送去人工标记。与本文其中一个思想的应用有异曲同工之妙。
看上去虽然是一个不够详尽的短文，但是还是有很多值的挖掘的点。如：如何利用标记后的样本结合聚类在表示学习中做到更好的对预训练模型的微调？