Q学习延伸至DDPG算法公式

作者: 天使的白骨_何清龙 | 来源:发表于2020-07-08 14:34 被阅读0次

Q学习延伸至DDPG算法公式
二十四、ElasticSearch的评分知识讲解
DDPG算法解析
DES算法
强化学习算法（二）DDPG
深度强化学习Trick：动作标准化
TD3
《机器学习（周志华）》学习笔记（三）
数据挖掘topic
从零开始强化学习（七）——DDPG

Q learning原始损失函数定义：

$\mathbf L(\theta^Q)=\mathbb E_{s_t\sim \rho^\beta, a_t \sim \beta, r_t} \sim E \bigl[ \bigl( Q(s_t, a_t \vert \theta^Q) - y_t \bigr)^2 \bigr]$

Q的贝尔曼方程:

$Q^\pi(s_t, a_t) = \mathbb E_{r_t, s_{t+1}} \sim E \Bigl[r(s_t,a_t) + \gamma\mathbb E_{a_{t+1}} \sim \pi \bigl[ Q^\pi (s_{t+1, a_{t+1}}) \bigr] \Bigr]$

确定性策略的Q定义：

$Q^\mu(s_t, a_t)=\mathbb E_{r_t,s_{t+1}} \sim E \bigl[ r(s_t, a_t) + \gamma Q^\mu(s_{t+1}, \mu(s_{t+1})) \bigr]$

其中的action a就是由 $\mu(s_{t+1})$ 确定的。而 $\mu(s)=argmax_aQ(s,a)$

DPG的轨迹分布函数定义:

$\bigtriangledown_{\theta^\mu}J \approx \mathbb E_{s_t \sim \rho^\beta} \bigl[ \bigtriangledown_{\theta^\mu}Q(s,a \vert \theta^Q)\vert s=s_T, a=s_t \vert \theta^\mu \mu (s_t \vert \theta^\mu) \bigr]$
$\qquad\quad = \mathbb E_{s_t \sim \rho^\beta} \bigl[ \bigtriangledown_{a}Q(s,a \vert \theta^Q)\vert s=s_T, a = \mu (s_t) \triangledown_{\theta} \mu(s_t \vert \theta^\mu)) \vert s=s_t \bigr]$

DDPG改进：

利用分布式独立探索，在策略中加入一个来自轨迹N的噪音
$\mu^{'}(s_t) = \mu(s_t \vert \theta_t^\mu) + N$
Loss function:
$L = {1 \over N}\sum_i (y_i - Q(s_i, a_i \vert \theta^Q))^2$
$定义：\qquad y_i = r_i + \gamma Q^{'}(s_{i+1}, \mu^{'}(s_i+1 \vert \theta^{\mu^{'}}) \vert \theta^{Q^{'}})$
参数更新方式，2个部分：
$\theta ^ {Q^{'}} \leftarrow \tau \theta ^ Q + (1-\tau) \theta ^ {Q^{'}}$
$\theta ^ {\mu ^ {'}} \leftarrow \tau \theta ^\mu +(1 - \tau)\theta^{\mu^{'}}$

Q学习延伸至DDPG算法公式
Q learning原始损失函数定义： Q的贝尔曼方程: 确定性策略的Q定义：其中的action a就是由确定的...
二十四、ElasticSearch的评分知识讲解
1、TF/IDF相关评分算法公式 score(q,d) =queryNorm(q)· coord(q,d)· ∑...
DDPG算法解析
直接看名字就能看出DDPG（Deep Deterministic Policy Gradient ）其实就是DPG...
DES算法
要求des算法，首先知道公式是什么，n=p＊q，e×d=z×k+1=1，z=(p-1)×(q-1)，公式只有这么多...
强化学习算法（二）DDPG
姓名：张轩学号：20011214440 【嵌牛导读】在强化学习算法（一）这篇文章中我给大家介绍了A3C这一算法，...
深度强化学习Trick：动作标准化
策略梯度Policy Gradient类的算法，如DDPG等，可以处理连续动作空间continuous actio...
TD3
DDQN + DDPG ==> TD3 1. DDPG DDPG由David Silver在2014年提出的DPG...
《机器学习（周志华）》学习笔记（三）
Q：机器学习中最简单的学习算法是什么？ A：最简单的机器学习算法莫过于线性回归算法了。线性回归算法的基本形式如下：...
数据挖掘topic
1.机器学习算法常用算法公式汇总西瓜书神经网络： neural-networks-and-deep-lear...
从零开始强化学习（七）——DDPG
DDPG是google DeepMind团队提出的一种用于输出确定性动作的算法，它解决了Actor-Critic神...