使用现有的开源框架可以使我们更好地完成强化学习的入门，其中OpenAI给我们提供了gym、baselines、mujoco这些方便学习的环境和算法，要能够很好地使用这些资源，首先需要进行的就是安装与配置。由于OpenAI提供的文档资源并不多，成功配置成为了很多人学习道路上的阻碍。所以把整个过程记录下来分享学习。

博主的环境：
虚拟机VMware Workstation12 + Ubuntu18.04
个人认为使用Anaconda管理各种环境比较方便简洁，建议先安装Anaconda，我安装的版本是Anaconda3-4.3.0，清华有开源镜像，下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive
具体的安装过程可以参考我之前的一篇教程：https://www.jianshu.com/p/9f83e172a1ec
Anaconda准备好虚拟环境以后，现在开始安装配置gym、baselines、mujoco、mujoco_py

一、安装gym

安装gym的过程我已经写在了之前的文章里，这里就不再赘述。
安装gym教程链接：https://www.jianshu.com/p/9f83e172a1ec

二、安装baselines

安装baselines的过程与安装gym非常相似，可以直接安装在同一个虚拟环境下面。具体过程：

2.1 进入虚拟环境，用git直接克隆

source activate gymlab  #写你自己的虚拟环境名称
git clone https://github.com/openai/baselines.git

2.2 进入baselines文件夹，用pip进行完全安装

cd baselines
pip install -e '.[all]'

2.3 安装过程中如果缺少依赖包就会报错，缺少什么包就补什么包。

三、安装mujoco

MuJoCo（Multi-Joint dynamics with Contact）是一个物理模拟器，开源的强化学习框架中很多实例都会用到这个物理模拟器，所以你想要学习更多的强化学习算法，安装好mujoco是非常必要的。

3.1 准备工作：

在官网（https://www.roboti.us/）上下载mjpro150 linux，点击License进入许可证页面。
两种试用：
第一种：试用30天

填入Full name , Email address , Computer id
其中根据下载 getid_linux（可执行文件） 获取Computer id，步骤如下：
点击上图中红圈的Linux，下载getid_linux文件，然后给予执行权利并执行文件

$ chmod a+x getid_linux 
$ ./getid_linux 

执行后会输出Computer id，直接填入到官网上面的Computer id，Submit以后邮箱里就会收到证书mjkey.txt了。
第二种：试用1年
试用1年仅限教育邮箱，所以如果你有教育邮箱的话，就可以申请1年的试用期。

填入相应的信息以后点Request license，你会在第二天（注意是第二天！）收到邮件，邮件内会有一个Account number，把Account number Computer id填入到官网上，获取Computer id的方法同第一种方法所述。 填入Account number和Computer id

3.2 配置环境

3.2.1 在Home目录下面创建隐藏文件夹.mujoco并将 之前下载好的mjpro150_linux拷贝到隐藏文件夹中

$ mkdir ~/.mujoco    
$ cp mjpro150_linux.zip ~/.mujoco
$ cd ~/.mujoco
$ unzip mjpro150_linux.zip

3.2.2 把下载好的证书mjkey.txt拷贝到.mujoco中

cp mjkey.txt ~/.mujoco  
cp mjkey.txt ~/.mujoco/mjpro150/bin

3.2.3 添加环境变量, 用nano打开～/.bashrc 文件并添加命令

sudo nano ~/.bashrc

export LD_LIBRARY_PATH=~/.mujoco/mjpro150/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}

3.2.4 运行结果以检验是否安装成功

cd ~/.mujoco/mjpro150/bin
./simulate ../model/humanoid.xml

运行后结果：

四、安装mujoco_py

安装方式并不唯一，可自行选择，在这里只分享博主自己安装的方式以供参考。

4.1 进入虚拟环境，用git直接克隆

source activate gymlab  #写你自己的虚拟环境名称
git clone https://github.com/openai/mujoco-py.git

4.2 先安装可能会缺少的东西（建议更改一下软件源）

更改软件源能够加快下载速度，具体方法可以参考我之前的博文：https://www.jianshu.com/p/04d804f52109

sudo apt-get update -q
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y curl git libgl1-mesa-dev libgl1-mesa-glx libglew-dev libosmesa6-dev python3-pip python3-numpy python3-scipy net-tools unzip vim wget xpra xserver-xorg-dev
sudo apt-get clean
rm -rf /var/lib/apt/lists/*

4.3 安装patchelf

sudo -s
curl -o /usr/local/bin/patchelf https://s3-us-west-2.amazonaws.com/openai-sci-artifacts/manual-builds/patchelf_0.9_amd64.elf
chmod +x /usr/local/bin/patchelf

4.4 进入mujoco_py目录，进行安装

 pip install -U 'mujoco-py<1.50.2,>=1.50.1'

4.5 安装过程中依然遵循缺什么补什么的原则，直到完全安装成功为止

一般来说，这个过程不会很顺利，根据所报的错误一步一步排查安装缺少的东西。耐心点，都是这么崩溃过来的 :)

4.6 安装完成后检验是否安装成功

在虚拟环境下面进入python，如果你能顺利执行以下代码就说明安装成功了。

>>> import mujoco_py
>>> from os.path import dirname
>>> model = mujoco_py.load_model_from_path(dirname(dirname(mujoco_py.__file__))  + "/xmls/claw.xml")
>>> sim = mujoco_py.MjSim(model)
>>> print(sim.data.qpos)
[0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
>>> sim.step()
>>> print(sim.data.qpos)
[ 2.09217903e-06 -1.82329050e-12 -1.16711384e-07 -4.69613872e-11
 -1.43931860e-05  4.73350204e-10 -3.23749942e-05 -1.19854057e-13
 -2.39251380e-08 -4.46750545e-07  1.78771599e-09 -1.04232280e-08]

>>> model = mujoco_py.load_model_from_path(dirname(dirname(mujoco_py.__file__))  + "/xmls/claw.xml")

如果你在执行以上代码的时候报错找不到文件的话

请把mujoco_py目录下面的xmls文件夹拷贝到报错信息所提示的文件夹下，具体文件夹根据自己的报错信息决定。如上图中的报错信息，即将xmls文件夹拷贝到/home/jjiawen/anaconda3/envs/gymlab/lib/python3.5/site-packages/mujoco_py-1.50.1.68-py3.5.egg下，再重新导入model就不会报错了。

五、总结：

至此已经完成了gym、baselines、mujoco 和 mujoco_py 的安装，在安装过程中可能会有不少错误，逐一排查即可。