《Playing Atari with Deep Reinfor

领域：强化学习

强化学习很久以来的一个重要挑战就是学习control agents能够直接从高维度的场景输入，例如视觉或者语言中。大多数成功的RL应用还是需要依赖于手工特征，结合线性的value function或者policy representation。

1. 挑战

强化学习相比其他深度学习方法的一些挑战：1. 成功的深度学习方法都是有大量人工标注的数据的。但是RL，需要有一个标量的reward，这种信号是稀疏的，有噪声的，有延迟的。2. 大多数深度学习算法假设数据样本之间是独立的，但是强化学习会遇到一系列的有强关联性的states。也就是说在RL中，当算法学习到新的行为时，数据分布会改变。

2. 背景

agent与环境进行交互，这里的环境就是Atari的模拟器，有一系列的actions，observations和rewards。环境是随机的，模拟器内部的状态是不能被agent观测的，而是观测一个来自模拟器的图片，并且收到rewards。

agent的目的是与模拟器交互，选择能使得将来的reward最大的action。

TD-gammon方法只适用于特殊情况，并且只在backgammon下work，有可能是因为随机帮助搜索了state空间，并且可以使得value function更加平滑。model-free的具有非线性的近似器，或者离策略学习可能引起Q-network偏离。因此大部分强化学习使用线性函数近似器。

Q-learning的偏离问题可以通过gradient temporal-difference方法来解决，这些方法被证明通过非线性近似器评估一个固定的策略的时候是收敛的。或者通过线性近似器学习control policy时，使用restricted variant of Q-learning

NFQ使用batch更新，每个iteration计算cost，这个cost是正比于整个数据集的，我们考虑随机梯度更新，每次迭代的常数成本较低，并且可扩展到大型数据集。需要先通过一个autoencoder将信息映射到低纬度的表示上，然后再应用到NFQ。

3. 创新点

本文的方法是端对端的，直接来源于visual输入，因此可能学习到能区分action-value的特征。本文方法与TD-Gammon或者其他online方法的不同在于，使用experience replay。

本文方法相比标准的online Q-learning有很多优势，1. 每一步的经验可能被用在多次权重更新上，有更高的数据效率。 2.从连续样本进行学习是不够的，因为样本之间的关联性很高，随机的样本可以打破这种关联性，因此可以减少更新的变动。3.学习on-policy，当前的参数决定了下一个数据样本，可能会偏离，并且陷入局部最小。但是通过experience replay，可平滑并且避免参数的震荡和分歧。