从DPG到D4PG
前文提到的AC算法，策略函数表示的是，在当前状态
下，动作空间的概率分布，然后通过采样选择动作，即策略是随机不确定的。那可否在连续动作空间内像DQN一样采取确定性策略呢？
答案是可以的，我们将策略公式化为：，在当前策略下的状态概率分布服从密度函数为
。
以critic 为 Q函数为例，此时的动作是确定的，因此不需要再针对做期望，可以直接用
估计累计回报，目标函数为：
根据链式法则求出它的梯度是：
原先的算法，如果不考虑重要性采样，每次更新完策略后，之前的经验就都必须扔掉了，因此必须on-policy。现在，没有了，我们可以像在DQN一样，使用经验回放来改进网络难收敛的问题——深度确定性策略梯度算法(DDPG)就是将AC算法和DQN结合的算法。
DDPG
网络结构
类比于Double DQN,DDPG有4个网络：
创新点
-
加入噪声：相似于Q-learning中的
，探索的时候，为了增加探索性，在behavior网络输出的策略上添加噪声：
在论文中作者适用了Ornstein-Uhlenbeck 噪声，TD3算法中则用了简单的高斯噪声。并且TD3作者提到使用OU替换高斯后，效果并没有提升。那么加入OU噪声到底好不好呢？什么时候用OU噪声？
因为OU噪声是自相关，后一步受前一步影响，而高斯则是完全独立，这意味着OU噪声不会像高斯噪声那样出现相邻两个step的值差别特别大的情况，而是会绕着均值附近正向反向探索一段距离，因此，更适合惯性系统，同时，它也起到了保护机械臂的作用。更多介绍可以查看这里
-
软更新 ：DDPG中对actor 和critic 的目标网络参数采用的实时软更新：
-
批标准化:解决state的不同特征具有不一样的量纲和数据范围的问题。
DDPG算法过程
DDPG算法过程
不是DDPG的训练技巧
在实践中，我的DDPG训练到后来就只输出边界值，查阅资料看到以下炼丹建议：
1.调整action空间
2.降低网络复杂度，减少神经元数量和网络层次
3.状态归一化 & reward rescale & clipping
4.在激活函数前面加入批标准化层
最后，我还是在大佬的建议下改用TD3（🤦♀️）
TD3 改进
针对DQN中max操作带来的过估计问题，DDQN采用了两个值网络将动作选择和Q值更新进行解耦，使用behavior net 选择出最大value最大的next action,并且用target net来估计它的值：
DDPG一样面临过估计问题，如果直接使用DoubleDQN的方法，由于策略变化过于缓慢，当前和目标值函数估计很接近，效果不明显。 Fujimoto 提出了双延迟深度确定性策略梯度方法。他的改进在三方面：
-
截断双Q学习：学习两个Q函数，这两个Q网络共用经验池，参数更新时，使用其中值小的来避免过估计问题:
论文中使用了1个actor（）来参与目标
的计算是为了降低计算量。
-
延迟更新：如果actor 和 critic 同步更新，存在这么个问题：策略不怎么好时，由于过估计导致了价值估计的偏差，而在价值估计不准确时，又导致了策略可能往不好的方向走 。最坏的情况时，策略困在了较差的局部最优。因此作者降低了更新策略函数和目标网络的频率，每隔两个critic soft更新T次后，critic网络的td error 较小时,再对actor和target critic net进行一次更新：
-
目标策略平滑：出于一个很直接的想法：相似的动作，应该有着相近的Q值。因此在目标策略网络所选动作中添加少量经过截断的随机噪声
:
通过引入这种噪声，Q值在附近一小片区域的值都是平滑的，减少了误差的产生。
TD 3
D4PG改进
D4PG（Distributed Distributional DDPG）像是博采众长，更新在4方面：
（1）Distributional:这里的Distributional 指的是，critic网络中采用和C51中的Distributional value function，critic 估计的不是Q值期望值，而是去估计期望Q值的分布。
（2）Distributed：使用多个actor 并行的收集样本存入经验池中。
（3）优先经验回放：使用一个非均匀的概率从经验池中进行采样。
（4）n-return:使用n-step TD误差这样可以减少更新的方差。
D4PG.png
网友评论