迁移学习

【提出背景】在机器学习、深度学习和数据挖掘的大多数任务中，会假设training和inference时，采用的数据服从相同的分布（distribution）、来源于相同的特征空间（feature space）。但在现实应用中，这个假设很难成立，往往遇到一些问题：

1、带标记的训练样本数量有限。比如，处理A领域（target domain）的分类问题时，缺少足够的训练样本。同时，与A领域相关的B（source domain）领域，拥有大量的训练样本，但B领域与A领域处于不同的特征空间或样本服从不同的分布。

2、数据分布会发生变化。数据分布与时间、地点或其他动态因素相关，随着动态因素的变化，数据分布会发生变化，以前收集的数据已经过时，需要重新收集数据，重建模型。

---

【发展历史】迁移学习的研究来源于一个观测：人类可以将以前的学到的知识应用于解决新的问题，更快的解决问题或取得更好的效果。迁移学习被赋予这样一个任务：从以前的任务当中去学习知识（knowledge）或经验，并应用于新的任务当中。换句话说，迁移学习目的是从一个或多个源任务（source tasks）中抽取知识、经验，然后应用于一个目标领域（target domain）当中去。

自1995年以来，迁移学习吸引了众多的研究者的目光，迁移学习有很多其他名字：学习去学习（Learning to learn）、终身学习（life-long learning）、推导迁移（inductive transfer）、知识强化（knowledge consolidation）、上下文敏感性学习（context-sensitive learning）、基于知识的推导偏差（knowledge-based inductive bias）、累计/增量学习（increment / cumulative learning）等。

---

【符号定义】

领域（domain）

领域由两个部分组成：特征空间（feature space）X和特征空间的边缘分布P（x），其中，x={x1,x2......xn} 属于X。如果两个领域不同，它们的特征空间或边缘概率分布不同。领域表示成D={X,P(x)}。

任务（task）

任务组成：给定一个领域D={X，P（x）}的情况下，一个任务也包含两个部分：标签空间Y和一个目标预测函数f（.）。一个任务表示为：T={Y，f（.）}。目标预测函数不能被直接观测，但可以通过训练样本学习得到。从概率论角度来看，目标预测函数f（.）可以表示为P(Y|X)。任务表示成T={Y，P（Y|X）}。

一般情况下，只考虑只存在一个source domain Ds 和一个target domain Dt的情况。其中，源领域Ds = {（xs1，ys1），（xs2,ys2）......（xsns,ysns）}，xsi 属于Xs，表示源领域的观测样本，ysi属于Ys，表示源领域观测样本xsi对应的标签。目标领域Dt = {（xt1，yt1）,（xt2，yt2）.......（xtnt，ytnt）}，xti属于Xt，表示目标领域观测样本，ysi属于Yt，表示目标领域xti对应的输出。通常情况下，源领域观测样本数目ns与目标领域观测样本数目nt存在如下关系：1<=  nt  <<  ns。

【分类】

【应用】

多任务学习

多任务学习是针对数据给出多个监督信息（标签）进行学习，例如识别一张图像中的脸是否是人脸、脸部表情、性别、年龄等，识别图像中车的颜色、车型、姿态等，都属于多任务分类。