Incremental Learning Techniques

概述：探讨语义分割中的增量学习问题。在不保留旧图片的基础上，利用原有模型学习新的知识。在Pascal VOC2012上取得了不错的表现。

• 何谓增量学习？在保留原模型知识的基础上，继续学习新的知识。比如在分类问题上，继续学习新的类别。
• 如何保留旧有知识？冻结部分权重；降低部分学习率；知识蒸馏；保留部分旧样本；利用GAN生成旧样本；从多个模型快照剪枝等。

paper

评价：对多类语义分割应该有益，对于二分类问题无用，暂时未看paper细节。个人觉得增量学习对之前的场景分类项目应该很有帮助，每增加一个类别都需要从头训练分类器过于耗时，而且需要保存大量的训练样本也需要消耗不少的存储资源，如果能够用好增量学习，应该是一个不错的解决方案。