先贴源码：
莫烦python强化学习

此算法实现的背景是一个人找宝藏T，且只有向左和向右两种action。如下图：

image.png

用到的三个库：numpy、pandas、time。

import numpy as np
import pandas as pd
import time # 控制探索者移动速度

生成相同的随机序列（这句代码产生的效果还没弄明白）：

np.random.seed(2) # 如果括号内的数字相同，则可以使numpy随机生成的序列相同

设置一些算法需要的常量：

N_STATES = 6   #共有6种状态，如图1所示，有6个格子
ACTIONS = ['left', 'right']    # 两种动作，向左向右
EPSILON = 0.9  # 90%选择最优的动作，10%选择随机的动作
ALPHA = 0.1    # 学习率
GAMMA = 0.9    # 衰减率
MAX_EPISODES = 13  # 最大回合数
FRESH_TIME = 0.3   # 每次移动间隔时间

本问题一共需要5个模块，举一反三，再复杂的问题也大致需要这5个模块。

• 1.Q表的构建
• 2.环境的构建和更新（更新主要用于展示探索的每一步效果可视化）
• 3.奖励机制或者说与环境的交互
• 4.动作的选择
• 5.Q-Learning算法主体

Q表的构建

def build_q_table(n_states, actions):
    table = pd.DataFrame(
        np.zeros((n_states, len(actions))),   # Q表的行和列 也就是6行2列
        columns=actions,    # 列名字 也就是right left
    )
    # print(table)    # 显示表格
    return table

动作的选择

def choose_action(state, q_table):
    # This is how to choose an action
    state_actions = q_table.iloc[state, :] # 将此时状态的Q表 行值赋给state_actions
    if (np.random.uniform() > EPSILON) or ((state_actions == 0).all()):  # 如果大于0.9这个概率或者全部Q值都为0的时候我们进行随机选择动作 
        action_name = np.random.choice(ACTIONS) #随机选择动作
    else:  #如果不是随机选择的话
        action_name = state_actions.idxmax()    # 就选Q值最大的那个动作
    return action_name

环境的交互

def get_env_feedback(S, A):
    # This is how agent will interact with the environment
    if A == 'right':    # 如果动作为右
        if S == N_STATES - 2:   # 测试是否到达终点 
            S_ = 'terminal'
            R = 1 #获得奖励
        else:
            S_ = S + 1 #向右移动一格
            R = 0 #没有奖励
    else:   # 如果动作为左
        R = 0 #没有奖励
        if S == 0: # 如果此时在最左边
            S_ = S  # 不动
        else: # 如果没有 则向左移动一格
            S_ = S - 1
    return S_, R #返回此时的状态 和 奖励值

环境更新

def update_env(S, episode, step_counter):
    # This is how environment be updated
    env_list = ['-']*(N_STATES-1) + ['T']   #我们的环境是这个样子： '-----T' 
    if S == 'terminal':  #如果已经到达终点 取得宝藏 那么就输出当前第几次探索episode 和 一共走的步数steps
        interaction = 'Episode %s: total_steps = %s' % (episode+1, step_counter)
        print('\r{}'.format(interaction), end='')
        time.sleep(2) # 时间间隔2秒
        print('\r                                ', end='')
    else:
        env_list[S] = 'o' # 如果没有到终点 那么就把当前agent的位置由'-'改为'o'，更好的可视化探索过程
        interaction = ''.join(env_list) #将序列连接成字符串 并且 输出到屏幕
        print('\r{}'.format(interaction), end='')
        time.sleep(FRESH_TIME) # 移动速度间隔为0.2秒

主函数体

def rl():
    # main part of RL loop
    q_table = build_q_table(N_STATES, ACTIONS) #建立Q表
    for episode in range(MAX_EPISODES): # 设置探索次数
        step_counter = 0 #初始化步数
        S = 0 #初始化状态
        is_terminated = False #将到达终点设为false以结束循环
        update_env(S, episode, step_counter) #更新环境
        while not is_terminated: # 若没有探索到宝藏则一直探索

            A = choose_action(S, q_table) #选取动作
            S_, R = get_env_feedback(S, A)  # 与环境交互 获取下一步的状态和奖励
            q_predict = q_table.loc[S, A] # 获取Q表的[S,A]的值
            if S_ != 'terminal': #如果下一步不是终点 
                q_target = R + GAMMA * q_table.iloc[S_, :].max()   # 这是公式的一部分
            else:
                q_target = R     # 若下一步是终点 因为终点处的状态没有可选的动作 所以公式后半部分都为0
                is_terminated = True    # terminate this episode

            q_table.loc[S, A] += ALPHA * (q_target - q_predict)  # 更新Q[S,A]值
            S = S_  # 更新到下一个状态

            update_env(S, episode, step_counter+1) # 更新环境
            step_counter += 1
    return q_table
if __name__  ==  '__main__':
    q_table = rl()
    print('\r\nQ-table:\n')
    print(q_table)