强化学习（Reinforcement Learning, RL）

作者: 偶尔写一写 | 来源:发表于2022-01-09 16:28 被阅读0次

机器学习缩略词
【机器学习】（八）强化学习的基本概念、e贪心算法、Softmax
强化学习中的无模型预测
利用AI强化学习训练50级比卡超单挑70级超梦！
强化学习（Reinforcement Learning, RL）
reinforcement learning 学习资源推荐
从零开始强化学习（一）——基础概念
阅读《A2-RL: Aesthetics Aware Reinf
Deep Reinforcement Learning简介
强化学习基础知识详解

1 题外话：人类棋手的最后赞礼

2016年3月15日，AlphaGo以4:1的比分击败了人类的传奇棋手李世石。在李世石折戟沉沙的当晚，一个名叫柯洁的中国少年站出来说，“就算AlphaGo战胜了李世石，但是它赢不了我”。当时柯洁柯洁是有这个底气的，因为他在世界排行榜上占据第一，曾在正式比赛中以8:2的比分碾压李世石。但是AlphaGo经过9个多月的自我对弈和迭代，AlphaGo已经从对战李世石的V18进化到到V21了，它有了一个新的名字“AlphaGo Zero”。2017年5月，人类第一高手柯洁和“AlphaGo Zero”开启了一段旷世对决。在这段对决中，无论柯洁如何努力，始终脱离不了在“AlphaGo Zero”面前全面落败的结局，期间抑制不住情绪失声痛苦。那么，AlphaGo Zero背后的技术是什么？是如何让它进化得比人类更强的？其实就是强化学习（Reinforcement Learning, RL） 。

2 强化学习概述

前面讲到的所有深度学习都是有监督的学习，也就是数据都是有标签的。我们需要告诉机器一个输入应当要有什么样的输出。即使是自监督学习，也是有标签的，只是标签不是人工标注的，而是来自于数据本身。但是在有些任务中，对应一个输出，我们人类也不知道最佳的输出是什么。比如说下围棋，对方落子后，我方的最佳落子在哪儿，恐怕最厉害的棋手也不知道。当然，我们可以通过监督学习的方法，让机器学习许多棋谱，也能使机器称为高手，但是最高水平永远不会超过人类。如果我们希望机器学习获得人类棋谱之外的招数，在与人类对决时候可以出现神之一手，以打败人类最高选手，那么就要用到强化学习了。

2.1 强化学习的目标也是要找一个Function

强化学习和一般深度学习的目的是一样的，都是要找一个Function。强化学习要找的Function如下图所示，这个Function我们将其称为Actor。Actor的输入是它对环境的观察，输出是一个行为Action。当Actor输出一个行为后，环境的状态会发生改变，因此Actor又能观察到新的环境，相应的又输出一个新的行为。在Actor和环境互动的过程中，环境会不断地反馈Reward。我们要找到一个Actor（Function），使total reward最大化。

寻找一个function

比如训练一个下围棋的Actor。Actor就是AlphaGo，环境就是和AlphaGo对战的人类。Actor的输入是棋盘及棋盘上的双方落子，输出就是下一步落子的位置。Actor每下一个棋子，人类也会下一个棋子，这样Actor观察到的棋盘及棋盘上的双方落子就发生了变化，Actor根据它观察到的新的状态又要输出一个新的落子位置。在这对弈过程中，大部分时间的reward都是0，只有等棋局结束后，才会反馈一个reward，如果是赢了，reward=1，如果输了，reward=0。

image.png

2.2 强化学习的三个基本步骤

强化学习和一般的深度学习一样也包含定义一个function、定义一个损失函数、优化参数这三个步骤。由于下围棋的模型过于复杂，下面以Space invader的游戏来说明这三个步骤，到本节最后再简单地讲一下AlphaGo的强化学习。
Space invader游戏的规则如下：游戏下端的绿色块是我们的太空船，动作有左移、右移和开火。上面的黄色图标是外星人，我们的目标是要杀掉这些外星人，只要开火集中外星人就可以把它杀掉。中间的橘黄色块是我们防护罩，可以阻挡外星人的进攻，不小心开火打中防护罩会使防护罩变小。我们每击中一个外星人，就可以得到一个分数，也就是reward。游戏的终点是所有外星人被杀掉，或者我们的太空船被摧毁。

image.png

2.2.1 定义一个function

我们设计一个神经网络模型，输入是游戏画面，输出是左移、右移或者开火的开率。这其实就是一个分类任务，即输入一张图片，输出三个类别的分数。因此，该网络可以使用常见的CNN，当然也可以设计成其他形式的网络架构。但是Actor的时候，可能不会直接采用概率（分数）最大的动作，而是使用采样的方式，从这个概率分布中去采样一个动作。这样做的好处是，机器看到同一个游戏画面，可能会采取不同的行为，这种随机性在RL中很常见。

定义一个Function

2.2.2 定义一个损失函数

前面提到了，Actor在和环境互动的过程中，环境会不断反馈reward。比如在Space invader游戏中，Actor观察到的环境 $s_1$ ，此时Actor执行的动作是右移，获得的reward是0；然后环境状态变成 $s_2$ ，Actor观察到此状态后执行的动作是开火，获得的reward是5；环境状态变成 $s_3$ 。假设Actor在和环境互动的互动经过了若干轮后，太空船被摧毁，游戏结束，这时候就会获得游戏最后的得分，我们把这样一局游戏称为一个episode。在一个episode中，Actor和环境互动执行了许多Action，每一个Action我们用 $a_T$ 表示，针对每一个Action环境都会反馈一个reward，我们用 $r_T$ 。当一个episode结束后，我们得到了游戏最后的得分，称为Total reward $R$ ，即 $R=\sum_{t=1}^T{r_T}$ 。我们的目标是要最大化 $R$ ，因此Loss函数即可以定义为负的 $R$ 。

定义一个Loss

2.2.3 优化参数

在Actor和环境互动中会产生一系列的action和环境状态，我们把这些action和环境状态构成的序列称之为Trajectory，表示为 $\tau=\{s_1,a_1,s_2,a_2,...\}$ 。其中actor是一个网络，包含未知参数，我们的目标使要训练出一组参数，使Total reward $R$ 最大。但是由于环境状态的变化和Reward是黑箱，且一般具有随机性，我们是没办法用一般网络的训练方法的。因此，强化学习最大的挑战就在于参数优化。

优化参数

3 Policy Gradient

3.1 Actor的行为控制

对于一个Actor我们如何控制它的行为呢？前面提到了Actor的网络实际上就是一个分类网络，例如Space invader游戏就是读入当前环境的图片输出左移、右移、开火三个类别的概率。因此，我们可以定义一个交叉熵 $e_t$ 来评估在环境状态 $s_t$ 下网络的输出与合理的动作 $\hat{a}_t$ 之间的距离。例如在某一环境下合理的动作是左移，而Actor网络的输出是（左移，0.6）、（右移，0.3）、（开火，0.1），那么交叉熵是 $e=-\ln (0.6) \approx 0.51$ 。一把游戏结束后，我们计算出许多交叉熵，将它们累加起来，定义一个损失函数： $L=\sum{e_t}$ 。在训练过程中最小化这个 $L$ ，就可以控制Actor的行为，使其更加合理的执行任务。
更进一步，在某一特定环境 $s_t$ 下，Actor执行某个动作 $\hat{a}_t$ 不只是合理和不合理，而是一个合理的程度，我们用一个分数 $A_t$ 来表示。这个 $A_t$ 叫做优势函数（Advantage Function）,它反映了Actor在某个状态下 $s_t$ 下选取某个具体动作 $s_t$ 的合理性。
例如，在Space invader游戏中，如果在一个游戏界面中，给Actor的右移打了一个很高的正分数，那么就意味着Actor在当前环境下执行右移这个动作是非常合理的，我们鼓励它这么做；如果在一个游戏界面中，给Actor的左移打了一个很低的负分数，那么就意味着Actor在当前环境下尽量不要执行左移这个动作是很不合理的，我们不期望它这么做。此时，损失函数就为 $L=\sum{e_t}A_t$ ,即损失函数的每一项在 $e_t$ 的基础上再乘了一个 $A_t$ 。为了训练Actor，我们需要收集一堆数据，是关于不同环境下Actor执行不同动作的合理程度的，如下图所示的Training Data。这里有一个关键问题，如何去确定这些 $A_t$ 呢？如果都是人工确定的，那以上跟传统的监督学习没有任何区别了。我们有没有其他方法确定 $A_t$ 呢？

Actor的行为控制

3.2 优势函数 $A_t$ 的确定

一个最简单的方式是让 $A_t=r_t$ ,这里的 $r_t$ 是前面提到的reward。在Space invader游戏中 $r_t$ 就是在某一特定游戏界面 $s_t$ 下，Actor执行某个动作 $a_t$ 的所获得的分数，如果这个动作是左移或者右移，则 $r_t=0$ ，如果是开火正好打中了外星人，则 $r_t=5$ 。但是这样做实际上是一个短视的行为，它只顾了眼前，没有考虑到当前的行为对未来的影响。如果这样设置A，可能会导致Actor一直开火，毕竟只有开火才能获得reward。有很多时候，牺牲当前的利益可能会获得更多的回报。例如在Space invader游戏中，Actor采取右移策略虽然本轮动作不会得分，但是可能有利于后续连续得分。所以，我们需要让Actor看得更远。

image.png
那么更好的办法是让

A_t=\sum_{n=t}^N{r_n}

，即把Actor在环境

s_t

下执行动作

a_t

后所获得的累积reward作为

A_t

。这样，Actor在某一游戏界面下就有可能选择右移，即使没有获得分数，但是有利于后面获得更丰厚的分数。但是，这里还有一个问题，Actor在某一游戏界面下选择右移，可能只对后面几步的分数获得有影响，对再后面的分数获得就影响不大了。举个例子，把Actor最后一次开火获得的分数

r_N

归功于Actor第一个动作

a_1

显然是不太合适的。因此，引入一个大于0小于1的折扣因子

\gamma

，让

A_t=\sum_{n=t}^N{\gamma^{n-t} r_n}

。某个分数离动作

a_t

越远，

a_t

对该分数的贡献就越小，给该分数的权值就越小，这就更合理了。

image.png
仍然有一个问题，某个动作的好与坏是相对的，我们希望好的动作尽可能是正的分数，不好的动作尽可能是负的分数，但是在Space invader游戏中并未设置负的reward。因此，设置一个基准

b

，我们让

A_t=\sum_{n=t}^N{\gamma^{n-t} r_n}-b

这样

A

就会有正有负了。但是一个重要的问题是如何确定这个

b

呢？这就用到Actor-Critic算法了，后面将介绍。

image.png

3.3 参数更新算法

Policy Gradient更新参数的算法如下图所示。首先，随机初始化Actor网络的参数 $\theta^0$ 。然后进入参数更新的循环，在循环里面：首先，让Actor与环境进行互动，并把互动的过程记录下来，获得一堆的数据 $\{s_1,a_1\},\{s_1,a_1\},..., \{s_N,a_N \}$ ；然后，根据互动产生的reward计算 $A_1,A_2,...,A_N$ ，用于评Actor在特定环境状态下选取某个具体动作的合理性；然后，计算Loss $L$ ；最后，利用梯度下降更新一次参数。
以上要特别注意到，每更新一次参数都要用新的actor去和环境互动获得新的互动数据，然后再更新参数。对于一般机器学习，数据的收集往往在迭代循环的外面，也就是只需要收集一次数据就行了。但是在这里，每更新一次参数都要重新收集数据。这是因为我们没更新一次参数，Actor的能力就强了一些，此时我们需要用新的Actor去和环境互动才能获得更有价值的数据，这时候的数据对于提升新的Actor的能力才更有帮助。举个例子，刚开始Actor V0是一个Space invader游戏小白，左移、右移和开火都是随机的，差不多得5分就挂了。但是，当Actor迭代了很20代后，Actor V20打Space invader游戏差不多得100分才挂。如果这时候我们还拿刚开始的Actor V0打游戏的数据来训练Actor V20显然是不合适的。所以，我们需要拿Actor V20去打游戏获得的数据再来更新Actor V20。Policy Gradient每次更新参数都要重新收集一次数据，因此训练速度是非常慢的。

image.png

4 Actor-Critic 算法

4.1 价值函数的概念

Actor-Critic 算法除了Actor一个网络之外，还要引入另一个网络，叫Critic。Critic用来评估特定Actor $\theta$ 在某一特定环境状态 $s$ 下，接下来还可以获得多少回报。当然Critic也有其他变种，比如评估特定Actor $\theta$ 在某一特定环境状态 $s$ 下并执行了某个动作 $a$ 后，接下来还可以获得多少回报。这里只介绍第一种情况，我们将其称为价值函数（Value Function），用 $V^\theta(s)$ 表示。它的工作是要估计Actor $\theta$ 在某一特定环境状态 $s$ 下可以获得的折扣累积回报（Discount cumulated reward）。折扣累积回报即 $\sum_{n=t}^N{\gamma^{n-t} r_n}$ 。
因此，价值函数是作为一个网络，它的输入是某个环境状态，输出是这个Actor在该环境状态下可以获得的折扣累积回报。例如在Space invader游戏中，价值函数的输入就是某一个游戏界面，输出就是Actor还可以获得多少折扣累积回报。当游戏刚开局的时候，Actor还有很多机会得分，价值函数的输出会比较大；到了游戏快结束时，外星人所剩无几，Actor得分的机会不多了，价值函数的输出会比较小。当Actor打完一局游戏后，每一个游戏界面下的Actor的折扣累积回报都是可以算出来的，而价值函数希望可以做到未卜先知，提前预估Actor可以获得的折扣累积回报。注意到 $V^\theta(s)$ 有一个上标 $\theta$ ，因此价值函数的输出是和Actor相关的，即使同一个价值函数，不同的Actor，估计出来的折扣累积回报是不一样的。

image.png

4.2 价值函数 $V^\theta(s)$ 的训练方法

4.2.1 基于蒙特卡洛（MC）的方法

基于蒙特卡洛（MC）的方法非常直观。在Actor和环境互动的过程中，把所有回报都记录下来，直到一个episode结束，我们就能计算出每一个环境状态下Actor所获得的折扣累积回报。我们训练价值函数 $V^\theta(s)$ 的目标就是让其输出和计算得到的折扣累积回报尽量相等。例如，在环境状态 $s_a$ 下，计算得到折扣累积回报为 $G'_a$ ，那么就让 $V^\theta(s_a)$ 的输出尽可能接近 $G'_a$ 即可。我们可以用MAE或者MSE来定义一个LOSS。

image.png

4.2.2 基于时序差分（TD）的方法

如果忽略掉 $V^\theta(s_t)$ 的输出和真实 $G'_t$ 之间的误差，假设， $V^\theta(s_t)=\sum_{n=t}^N{\gamma^{n-t} r_n}$ 则有 $V^\theta(s_{t+1})=\sum_{n=t+1}^N{\gamma^{n-t-1} r_n}$
因此就有 $V^\theta(s_{t})=\gamma V^\theta(s_{t+1})+r_t$
所以一个新的想法是让 $V^\theta(s_{t})-\gamma V^\theta(s_{t+1})$ 尽可能地接近 $r_t$ 就行了，这就是TD的方法。

image.png

4.3 价值函数 $V^\theta(s)$ 在优势函数上的应用

前面提到在设计优势函 $A$ 的时候，为了使 $A$ 有正有负，所以我们设置了一个基准 $b$ ，令 $A_t=\sum_{n=t}^N{\gamma^{n-t} r_n}-b$
但是有一个很关键的问题使如何去设置这个基准 $b$ 。其实，可以令 $b$ 等于价值函数 $V^\theta(s)$ ，即 $A_t=\sum_{n=t}^N{\gamma^{n-t} r_n}-V^\theta(s)$
为什么可以这么做呢？由于Actor的行为具有随机性，因此价值函数的输出其实使对折扣累积回报一种期望，也就是代表了折扣累积回报的一个平均值。如果Actor在环境状态 $s_t$ 下，执行了一个动作 $a_t$ 所获得的折扣累积回报 $\sum_{n=t}^N{\gamma^{n-t} r_n}$ 大于平均折扣累计回报，优势函数 $A_t$ 是一个正数，说明动作 $a_t$ 是相对合理的；相反的，如果所获得的折扣累积回报小于平均折扣累计回报，优势函数 $A_t$ 是一个负数，说明动作 $a_t$ 是不太合理。但是该公式还有一个问题，Actor在环境状态 $s_t$ 下，执行了一个动作 $a_t$ 所获得的回报是 $r_t$ ，这是确定的，但是后续的回报仍然是随机的，所以后续的折扣累计回报应当也要用平均值。Actor在环境状态 $s_t$ 下，执行了一个动作 $a_t$ 后环境状态变成 $s_{t+1}$ ，因此后续的折扣累计回报的平均值就是 $V^\theta(s+1)$ 。所以，如果忽略掉价值函数的输出和真实折扣累计回报之间的误差，有 $\sum_{n=t}^N{\gamma^{n-t} r_n}=r_t+V^\theta(s+1)$ 因此， $A_t$ 可以表示为， $A_t=V^\theta(s+1)+r_t-V^\theta(s)$ 这就是大名鼎鼎的Actor-Critic算法了。

image.png

机器学习缩略词
Deep RL:Deep Reinforcement Learning,深度强化学习 Paradigm:范式，wi...
【机器学习】（八）强化学习的基本概念、e贪心算法、Softmax
强化学习（reinforcement learning，RL）是机器学习的一个领域，主要通过在环境（environ...
强化学习中的无模型预测
在大多是强化学习(reinforcement learning RL)问题中，环境的model都是未知的，也就...
利用AI强化学习训练50级比卡超单挑70级超梦！
强化学习（Reinforcement Learning, RL），是机器学习的范式和方法论之一，用于描述和解决智能...
强化学习（Reinforcement Learning, RL）
1 题外话：人类棋手的最后赞礼 2016年3月15日，AlphaGo以4:1的比分击败了人类的传奇棋手李世石。在李...
reinforcement learning 学习资源推荐
reinforcement learning 学习资源推荐强化学习圣经 reinforcement learni...
从零开始强化学习（一）——基础概念
一. 强化学习概念(Reinforcement learning) 引言：Reinforcement learni...
阅读《A2-RL: Aesthetics Aware Reinf
阅读《A2-RL: Aesthetics Aware Reinforcement Learning for Ima...
Deep Reinforcement Learning简介
David Silver说，AI = RL + DL = Deep Reinforcement Learning他...
强化学习基础知识详解
强化学习（Reinforcement Learning）强化学习基本概念强化学习四要素：状态(state)、动...

强化学习（Reinforcement Learning, RL）

1 题外话：人类棋手的最后赞礼

2 强化学习概述

2.1 强化学习的目标也是要找一个Function