coursera by University of Alberta

Prediction and Control with Function Approximation

week 1

1、 Parameterized Functions

image.png

强化学习可以分为两种，一种是表格化的方法，另一种是参数化的方法，由于很多问题无法用有限的表格来表示，因此，使用参数化的方法来近似 value function

在参数化方法中，只需要存储方程的参数，因此，存储效率得到提高，一个缺点是一个参数的改变会涉及到很多 state 的改变 ； 而在表格化方法中，需要对每种 state 进行独立处理和存储，因此对于一些问题完全进行存储是不现实的

表格化方法实际上可以看作一种特殊的线性函数

image.png

X(s) : 对于 state s ，其特征向量

2、 Generalization and Discrimination 泛化和分化

image.png image.png image.png

泛化指的是对一个 state 的影响会影响到其他的 state
分化指的是区别不同的 state 的能力
表格化方法泛化能力弱，分化能力强
把所有状态聚集则泛化能力强而分化能力弱

3、 Framing Value Estimation as Supervised Learning

image.png

将 policy evaluation 看作有监督学习，即 X 为 state ， Y 为奖励的期望

不是所有的强化学习都能直接转化为监督学习，一是满足 online setting ，二是强化学习中的数据是相关联的

image.png

在 TD 当中，标签不是准确的，因为它使用 Bootstrapping ，用下一个 state 的估计值来估计当前的值 ；而在监督学习当中，标签是准确的

4、 The Value Error Objective 误差值目标

image.png image.png

目标函数 Value Error Objective 指的是误差函数（相当于损失函数）， 在上式的均方差目标函数中， μ(s) 与 state s 出现的频率正相关

5、 Gradient Descent 梯度下降

image.png image.png image.png

全局最优解 不一定是 true value

6、 Gradient Monte Carlo for Policy Evaluation

image.png image.png

7、 State Aggregation

image.png

将多个 state 组成一组使用相同的 value estimate 称为 State Aggregation ， 可以减少计算 value estimate 的时间 ， 但是和真实值有一定的误差

8、 Semi-Gradient TD for Policy Evaluation

image.png

在 Semi-Gradient TD 中，将 换成 使用 Boostrapping 的方法对 进行估计
优点是方差小，收敛速度快，不必等到 episode 结束才更新
缺点是不能保证收敛到局部最小值，因为 TD 方法根据下一个 state 的估计值 来推断当前 state 的估计值，如果下一个 state 的估计值 不准确则推断出来的估计值也不准确
如果从长远来看， MC 方法比 TD 方法要准确

image.png

在平方差的情况下 TD 不能梯度下降，即 Semi-Gradient TD

image.png

9、 TD Fixed Point

image.png

指的是 TD Fixed Point ，即 TD 方法最后收敛到 TD Fixed Point ， 当 接近 0 的时候 TD Fixed Point 趋近于局部最小值，当 value function 选择比较好的时候， 和 都为 0

week 2

1、 Coarse Coding 粗编码

image.png

粗编码的目的是将 state 用 feature 特征来表示

泛化 ： 一个 update 对多个 state 有影响
分化 ： 一个 update 对单个 state 有影响
特征的选择会影响 value 值的计算

2、 Tile Coding 平铺编码

image.png

Tile Coding 指的是利用多个 Tiling 平铺，交叉覆盖 state ， 这样就可以将 agent 的 state 转化为每个 Tiling 的位置的组合，即 feature

image.png

使用 Tile Coding 进行编码，利用线性作为 value function

3、 neural network

介绍了神经网络，新的地方 ： 提出对每个不同的权重使用不同的步长，而不只是简单使用全局步长，可以加快训练

在 RL 中使用 NN 作为函数逼近工具

week 3

1、 Episodic Sarsa with Function Approximation

image.png image.png

stack

2.png

在神经网络中输入 state ，输出 state action value

image.png

在神经网络中输入 state action ，输出 state action value

image.png

2、 Expected Sarsa with Function Approximation

image.png

Expected Sarsa tabular 形式

image.png

Expected Sarsa function approximation 形式

image.png

Q learning function approximation 形式

3、 Exploration under Function Approximation

image.png

在 Linear function 中，可以将 w 设置成很大的数实现 optimistical initialization ，在 Non linear function 中，无法确定 w 使得 optimistical initialization

image.png

在 Non linear function 中， greedy 方法也是适用的

4、 Average Reward

image.png

在 discounting problem 中，为了解决长远步骤以后的 reward 计算，必须将 设置接近 1 ，在 episode 很长的时候不切实际

image.png image.png

在 policy 的情况下，期望的收益

image.png

differential return 将 discounting 取消

image.png image.png

\

week 4

1、Learning Policies Directly

image.png image.png image.png image.png

Softmax 和 - greedy 区别在于， Softmax 可以体现 action preferences 大小的差异， - greedy 无法体现除了最大值的 action valuess 外不同 action 的差异

2、Advantages of Policy Parameterization

image.png

Softmax 有个好处，可以自动进行 exploration ，会自动提升 deterministic policy 的概率

image.png image.png

3、The Objective for Learning Policies

image.png image.png image.png

4、The Policy Gradient Theorem

image.png image.png image.png

5、 Estimating the Policy Gradient

image.png image.png image.png

6、Actor-Critic Algorithm

image.png image.png image.png

作用是减小 TD Error 的方差，加快训练速度

image.png

7、Gaussian Policies for Continuous Actions

目的是可以使用连续数值的 action

image.png image.png image.png image.png

一般我们将 初始化比较大，随着训练进行 减小 ， exploration 也随之减小