本文继续 深度强化学习（7）Actor-Critic 算法（1） ， 正式开始讨论 Actor-Critic 。
基于 Monte Carol 方法的 Batch Actor-Critic 算法
Batch Actor-Critic
- 利用现有 Policy 获取
- 利用 Monte Carlo 来计算
(这个方法不需要 计算 V 的神经网络，只是利用 Monte Carlo 模拟)。
- 计算 A Value
- 利用 A Value 计算梯度
- 更新 Policy 神经网络中的参数
画红线部分， 就是用 来 fit
value。
image.png
image.png
注意， 这里的 指的是 Policy 网络中的参数， 这里Policy 是
。 此外，
也是一个神经网络。
训练 V Function 网络
无限回合的处理
这里有个问题， V Value 的定义是， 未来所有的 Reward 的和， 可是如何游戏是无限的，就造成了无法求 Reward 的情况。 为了解决这个问题， 我们引入 衰减参数 。
image.png
一般来说， 我们用 。
在计算 Policy Gradient 的时候， 我们用
Policy Gradient
基于 Bootstrap 方法的 Online Actor-Critic 算法
Batch Actor-Critic 算法中， 只有1个神经网络，就是 Policy ， 我们记为 。 而我们这部分介绍的基于Online Actor-Critic 还有另外一个神经网络:
, 它的任务是计算
Value。
Online Actor-Critic 有两个神经网络
Online Actor-Critic 算法：
Online Actor-Critic
这里的第二步， 就是在更新 。
计算 y 和 Loss Value
不过，在实际操作上，也有使用一个神经网络，做,
, 有人认为这可以让他们共享 Featrue， 从而达到更好的效果。
Batch 与并行计算
image.png
在实际操作中， 我们可以每次多生成几个 Sample ， 然后交给不同的Worker，并行计算，这样可以加速训练过程。 每次更新 的过程， 也是使用几个Sample 计算的
的均值， 这样可以减少variance。
在并行的时候， 可以使用 synchronize 和 asynchronize 两种模式:
synchronize & asynchronize
Off Policy 的 Actor-Critic 算法
如果你注意到了， 在上面的 Actor-Critic 算法中， 我们使用的符号都有 比如
和
, 这其实意味着，这两个值都和Policy 相关。 在计算他们的时候， 都需要利用当前 Agent 中的Policy。 这种系统中有一个唯一 Policy 的算法， 在 Reinforcement Learning 中， 称为 On Policy； 如果系统中 Policy 不唯一， 那就称为 Off Policy。 这里我们介绍 Actor-Critic 的Off Policy 版本 。
Replay Buffer
我们先介绍一下 Replay Buffer 的概念。 在上面算法中， 利用 Policy 得到 Action 以后，我们要经过一系列结算，才能得到 。 现在有个想法， 能不能做到类似于有监督学习中， 直接利用training dataset 进行训练？ 如果可以的话， 那么就会大大加快训练过程。 Replay Buffer 在某种程度上满足了这个想法， 当然，算法也需要做相应的变化。
Replay Buffer
Replay Buffer 中存放的是利用最近的 Policy 计算出来的许多 Transition ， 我们的想法是利用这些 Transitions， 直接训练 Policy。
Q Function
Replay Buffer 有个缺陷， 就是他存放的 并不都是利用最新的 action 计算出来的， 而计算
时， 是需要全部使用最新的 Action。 为了解决这个问题， 我们引入 Q Fucntion 来更新
的计算方法。
Q Function 计算 Policy 梯度
上面公式不太明白从那里来的话， 可以参考 Actor-Critic 算法（1）。
这里有几点要注意：
-
: 这是利用 Policy 计算出来的 Action
-
: 这是从 Replay Buffer 取到的 Sample
类似， 我们也需要有一个神经网络， 来生成Q值， 这里
， 它在算法中的训练方法和
类似， 也可以采用 Bootstrap 的方法。
算法
Off policy AC
- 利用现有 Policy 生成 Transitions， 放入Replay Buffer
- 从
中抽样出一批 Sample
- 利用sample， 计算
， 然后更新
参数。 具体做法可以参考
的Bootstrap 方法。
- 计算
。 注意，
- 更新Polity 参数
使用 Ctritic 当Baseline
目前， 我们两个版本的 Baseline
AC Baseline
- 优点: low variance 因为使用了Critic， 它是基于很多Sample 训练出来的神经网络。
- 缺点： biased， 因为critic 不是完美的。
PG Baseline
- 优点: unbiased
- 缺点： high variance 因为是基于单一一个样本点得到的。
我们可以讲两者结合， 得到
image.png
- 优点: low variance 它是基于很多样本训练的网络。
- 优点: no bias。
Eligibility traces & n-step returns
在算法中，我们有2种办法计算 Advantage：
1. Bootstrap (TD(1))
Bootstrap
- 优点： low variance
- 缺点： higher biase 如果 Value Fucntion 有问题，而这常常发生。
2. MC
MC
- 优点： no bias
- 缺点： higher variance 因为只使用了一个样本。
3. N Steps
既然如此， 我们就考虑， 让 Bootstrap 多获得几步的 Reward 也许就可以降低 Variance 了。
n steps
Idea 来源于这张图
N Steps
4. Generalized Advantage Estimation (GAE)
在 n-step 的基础上， 可以进一步推出更好的方法 GAE。 GAE 的思想就是使用多个 n的组合， 来替代单一的n。 对于不同的n ， 可以赋予不同的权重：
GAE
Stabebase 3 中 Actor Ctritic 的实现，用的就是 GAE。 这里就不多介绍了， 也许以后解析 SB3的代码会再看这部分的实现。
网友评论