spinningup安装

Spinningup-----openmpi  ----（mingw）gcc,g++编译器

安装过程常遇问题既解决方法https://www.jianshu.com/p/2a6b606d9ae4

常用命令行

仿真spinngup

python -m spinup.run ddpg --env vsbr2dir-v0

--exp_name try1

图

python -m spinup.run plot D:\anaconda3\envs\spinningup\data\vsbr2dir1\vsbr2dir1_s0

视频

python -m spinup.run test_policy D:\anaconda3\envs\spinningup\data\vsbr2dir\vsbr2dir_s0

#查看空间属性

print(env.action_space)

#> Discrete(2)

print(env.observation_space)

#> Box(4,)

#显示状态/动作空间范围

print(env.observation_space.high)

print(env.observation_space.low)

相关图

常遇报错

returned non-zero exitstatus 1.

多半是自己命令行代码命令敲错了，仔细检查

测试结果记录

1、DDPG方法

（1）7.4.3,这个平衡效果可以,每回合基本都是同一个方向和位置,速度也适中挺慢的, steps_per_epoch=1000，epochs=50

环境配置图

（2）

7.4.4 steps_per_epoch=5000，epochs=200,能平衡一定时间,速度很慢,效果可以

总是以左轮加速而倒.17回合之后,倒地就不会立刻重新开始,done的条件不对

python -m spinup.run test_policy

D:\anaconda3\envs\spinningup\data\test.7.4.4\test.7.4.4_s0

配置图

（3）Test7.5.1其他限制条件同2,运行距离极短，效果不好

配置图

PPO方法

（1）Test7.5.2，ppo算法，相对来说，也可以。没那么好，但算法运行快

配置

（2）Test7.5.3 距离极短（相当于原地），效果不好

配置

（3）Test 7.5.4,倒地不起的运动，说明此限制条件有误

配置

TRPO方法

（1）Trpo  Test7.8.1,原地，时间极短，效果不佳

配置

SAC方法

算法相关介绍：http://m.elecfans.com/article/834892.html

（1）test7.8.2,平衡效果极佳，距离很长，segway下

（2）Test7.8.3 基本静止，运动幅度很小，完美！

python -m spinup.run test_policy d:\anaconda3\envs\spinningup\data\test7.8.3\test7.8.3_s0

配置

TD3方法

（1）Test7.9.1效果一般，每次都超出边界

配置

持续更新，目前看，sac方法完美契合此机器人，持续改进。