TASK1

基本概念
1、策略Policy
Policy是智能体的行为函数，是一个从状态到动作的映射，它告诉智能体如何挑选下一个action。
强化学习中有两类policy: Deterministic policy和Stochastic policy。前一种又称确定性策略，即对于这个映射，输入一个状态，输出的是某一个确定的action。后一种是不确定性策略，即对于这个映射，输入一个状态，输出的是每个action的概率。

2、Episode
一个Episode由一系列的observation, reward, action组成。 ( O 1 , A 1 , R 2 , . . . , O T − 1 , A T − 1 , R T , O T ) (O_1, A_1, R_2, ..., O_{T-1}, A_{T-1}, R_T, O_T) (O1​,A1​,R2​,...,OT−1​,AT−1​,RT​,OT​) 从initial observation到terminal observation。

3、奖励Reward
奖励 (R_t)是一个反馈信号，是一个数值，表明这个智能体在step t 时做得有多好。

4、Return
又称累积折扣奖励(cumulative discounted reward)。step t 时的return为 G t = R t + 1 + γ R t + 2 + γ 2 R t + 3 + . . . G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... Gt​=Rt+1​+γRt+2​+γ2Rt+3​+... 其中 ( γ ) (\gamma) (γ)表示折扣因子，表示你对之后得到的reward的重视程度。 ( 0 < = γ < = 1 ) (0<=\gamma<=1) (0<=γ<=1)，是一个由用户决定的参数。

智能体的任务就是去最大化累积奖励。然而由上面的式子我们可以看出，一条样本（即一个episode）对应一个Return，而episode是不确定的，有很多种可能发生的情况，因此Return是一个变量。

由此智能体的任务是最大化累积奖励的期望，即下面的值函数。

5、值函数Value Function
一个状态state s对应的值函数为 V π ( s ) = E π ( G t ∣ S t = s ) V_\pi(s) = E_\pi(G_t | S_t = s) Vπ​(s)=Eπ​(Gt​∣St​=s)这种值函数也称状态值函数。对给定的s, V(s)是一个确定的值。它表示，从state s开始，遵循策略(\pi)时的return的期望值。
还有一种值函数称为状态动作值函数: Q π ( s , a ) = E π ( G t ∣ S t = s , A t = a ) Q_\pi(s, a) = E_\pi(G_t | S_t = s, A_t = a) Qπ​(s,a)=Eπ​(Gt​∣St​=s,At​=a)它表示，从state s开始， 采取动作a，遵循策略(\pi)时的return的期望值。

Q：强化学习的基本结构是什么？
A：基本结构是智能体(agent)和一个复杂不确定的环境(environment)之间的交互。
当Agent在Environment中得到当前时刻的State，Agent会基于此状态输出一个Action。然后这个Action会加入到Environment中去并输出下一个State和当前的这个Action得到的Reward。
强化学习讨论的问题是一个 智能体(agent) 怎么在一个复杂不确定的环境(environment)里面去极大化它能获得的奖励。

Q：强化学习相对于监督学习为什么训练会更加困难？（强化学习的特征）
A：在强化学习过程中，没有非常强的 supervisor，只有一个奖励信号(reward signal)，就是环境会在很久以后告诉你之前你采取的行为到底是不是有效的。Agent 在这个强化学习里面学习的话就非常困难，因为你没有得到即时反馈。

Q：近几年强化学习发展迅速的原因？
A：计算机硬件以及算力方面的提升，我们可以更快地做更多的 trial-and-error 的尝试来使得Agent在Environment里面获得很多信息，取得更大的Reward。
通过这种不同尝试使得 agent 在这个环境里面获得很多信息，然后可以在这个环境里面取得很大的奖励。
我们有了这个端到端的一个训练，可以把特征提取和价值估计或者决策一块来优化，这样就可以得到了一个更强的决策网络。