对于covariate shift的理解

1.Convariate

Convariate，协变量，在实验的设计中，协变量是一个独立变量（解释变量），不为实验者所操纵，但仍影响实验结果^[1]。比如受试者的年龄，虽然看起来与实验不相干，但是还是会或多或少影响实验结果。

2.Convariate shift

Convariate shift，协变量偏移，在神经网络模型中，初始化参数实际是会影响最终的实验结果。因为当输入的数据不同时，经过复杂的非线性映射输出也会存在一定差异，它不能100%保证不管你输入的是什么，输出都会得到一样的结果。对于深度模型，差异会随着网络的加深逐渐加大，每一层输出都会得到不同的数据分布，导致最终的预测结果效果不好。这里的初始化参数就可以理解为是协变量(convariate)，如下图所示，我们本来期望输出结果的分布是蓝色曲线，但由于convariate导致输出结果分布变成了绿色曲线，这个就叫做convariate shift。

3.如何避免convariate shift

避免方法就是batch normalization，在每一层输出都加上一个normalization让分布全通相同。

参考文献：

1. 协变量-百度百科 ↩