Python 多版本共存问题 2

Python 多版本共存问题 2

​ 本文主要讨论 多种版本的 Python 模块的共存与调用问题，并尝试给出一种清爽的解决办法。

多种版本的 Python Module？

​ 伴随 Python 逐步成为数据科学领域的主力研发语言，越来越多的机器学习库都发布了 Python 版本，包括了著名的 scikit-learn，tensorflow，keras 等。正是由于数据科学近年来在基础算法和计算架构上的迅猛发展，这些Python module 也频繁地发布新版本。

​ 最令人恶心的 Tensorflow 还未发布稳定版 1.0.0 之前时，几乎每个次级版本的Tensorflow的 API都不一样。当然这主要是由于深度学习领域的算法层出不穷，另一方面我个人猜测是由于Tensorflow代码在不断根据google的计算平台变化做出演进

​ 那么问题就来了，可能三个月前自己写的 Seq2Seq 的 tf 代码，在新版的 Tensorflow 中就已经不能运行，这就是因为版本变化带来的API变化导致。那么有人说，只要我一直不更新 TF 不就好了吗？

​ 理想丰满，现实骨感！

• 笔者使用的Ubuntu 机器是实验室共有的，TF 是否更新，服务器管理员的决定权也是很重要的！

• 最新版本的 TF 的计算效率相对来说总是在改进的：新版的 TF 可以使用更新的 CUDA 版本以及 CUDNN版本。

• 新来的开发者通常愿意去采用最新稳定版的 TF 来开发算法，如果要使用他们开发的算法，那么势必需要在对应的 TF 版本中才能运行。

  有鉴于此，为了同时运行新老代码，我们通常选择在同一台机器上配置共存的多版本 Module。

如何配置并使用多种版本 module？

​ 一个简单的想法是，对每一个开发任务，创建一个单独的环境，这个环境有独立于外界的模块。只要我们进入了这个单独的环境，就可以在里面安装并使用任务对应版本的模块了。

​ 幸运的是，这样做的方法有很多，例如 docker。但这里我们暂时用不到这么高大上的技术，我们只需要采用 virtualenv 命令即可。

• 利用 virtualenv 命令创建独立的 Python 环境

  • virtualenv 的安装

    # 安装 Python 2.7下的virtualenv
    sudo pip install virtualenv
    

  • 采用 virtualenv 命令创建一个独立的 Python 环境

    # 创建一个空间放置我可能创建的多个环境
    mkdir ~/my_lib/py_env
    cd ~/my_lib/py_env
    
    # 假设系统默认的 Python 为 Python 2.7
    # 创建 Python 2.7 的独立环境
    virtualenv py27_env
    

  • 如何进入该独立的 Python 环境呢？

    ​ 注意到，这里的进入 独立的Python环境的意思并不是一定要 cd 到上一步创建的Python独立环境所在文件夹处，几乎可以在任意位置启动环境。

    ​ 启动环境的意思是，在这个环境中，除了 Python 相关的命令，其余诸如 cd，ls等命令与外界无异，只有和 Python 相关的命令例如 pip, python 等才会有独立于外界的命令。

    cd ~
    # 可以在任意位置进入该 Python 环境
    source ~/my_lib/py_env/py27_env/bin/activate
    # 事实上，上述命令可以理解为将 ~/my_lib/py_env/py27_env/bin 加入系统路径，且优先级最高。但 ~/my_lib/py_env/py27_env/bin 文件夹中只存在和 Python 相关的命令，因此只有 Python 相关命令的执行会受该环境的影响
    

  • 如何退出该独立的 Python 环境

    deactivate
    

• 在对应的独立环境中安装任意版本的模块

  我们这里的任务是创建一个 Python 3.5 环境，然后利用 pip 安装 tensorflow 的1.0.1 gpu版本

  • 先创建 Python 3.5 环境，激活它

    # 创建 Python 3.5 环境
    # -p PYTHON_EXE_PATH 参数，也可以换成 --python=PYTHON_EXE_PATH
    # 代表创建的该独立环境所依据的系统 Python 命令来自哪儿，改变参数可以得到不同版本 Python 独立环境
    virtualenv -p /usr/bin/python3.5 ~/my_lib/py_env/py35_env
    # 激活它
    source ~/my_lib/py_env/py35_env/bin/activate
    

  • 安装 tensorflow 1.0.1 gpu 版本

    pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.0.1-cp34-cp34m-linux_x86_64.whl
    # 这里的执行的命令 pip 换成 pip3 或者 pip3.5都可以，这三个命令都是~/my_lib/py_env/py35_env/bin/ 中的
    # 值得注意的是，这里可以运行 pip2,这里的 pip2就是系统命令了，即 /usr/bin/pip2了。可以采用 which pip2 验证一下
    which pip2
    which pip
    which pip3
    which pip3.5
    

  • 可以进入 Python 解释器看看

    # 以下三个命令都可以进入 该独立环境对应的 Python 3.5环境
    python
    python3
    python3.5
    

    进入解释器之后

    import tensorflow as tf
    # 查看该 tensorflow 的安装位置
    print(tf.__path__)
    

• virtualenv 的更多选项

  这里的系统 Python 环境是指创建该独立环境时的 -p 参数

  • --no-site-packages 选项代表 安装到系统Python环境中的所有第三方包都不会复制过来，目前我看到这个是默认执行的
  • --system-site-packages 选项代表该虚拟环境可以访问系统 Python环境中的 第三方包
  • 更多的选项直接在 shell 端输入 virtualenv 即可查看