Variance in Contextual Bandit

Variance问题：

对于Bandit中，一类核心的方法是给出估计的confidence Interval，然后根据其Upper Bound来进行bandit。主要有TS与UCB：（当然，这种策略的有效性某种程度上取决于模型的varaince估计）

• Thompson Sampling：
  TS需要假设参数的先验分布，然后输入数据，通过模型学习，更新参数的后验分布，最后在每一次round中从后验分布中采样即可。[1]

• UCB：
  对于Contextual Bandit来说，要用模型计算variance。对于线性模型，可以参考LinUCB。对于NN模型，似乎没有特别robust 并且计算代价小的方案？

• 注：
  对于Delayed数据来说，由于数据本身delay，我们不能在每一次action后立刻获得feedback。实验看来TS有更好的效果。因为UCB本身是deterministic，在无法获得feedback的状态下，会处于缺乏Explore的状态。

Refer：
[1] An Empirical Evaluation of Thompson Sampling
这里假设参数的先验分布，通过数据更新其后验分布，然后预估时直接按照分布对参数进行采样，获得预估分。文章提出了LinTS（类似LinUCB，提供了线形模型的TS应用方法，Laplace Approxmation）
同时，文章给出了超参调整variance的方式（以让算法更倾向于explore或者exploit）：1、在empirical TS直接给出ctr估计时，beta中将a，b同时除以一个数，不影响mean，但是改变了其variance。2、在LinTS中，采样时直接调整参数的variance即可。

[2] A Contextual-Bandit Approach to Personalized News Article Recommendation
这里给出LinUCB的方法。参考了Fisher Information，在linear模型状态下，可以有一定的方法计算出模型参数的variance，以此也可以计算出prediction的variance。