美文网首页
小记ubantu conda TensorFlow 环境配置

小记ubantu conda TensorFlow 环境配置

作者: 阿鲁巴大将军 | 来源:发表于2018-04-25 18:32 被阅读0次

    介绍

    现在开始入门学习机器学习,实验室有一台两路泰坦的深度学习机,要把它用起来,所以开始折腾各种配置。

    Conda是一个开源包管理系统和环境管理系统,用于安装多个版本的软件包及其依赖关系,并在它们之间轻松切换。 它适用于Linux,OS X和Windows,是为Python程序创建的,但可以打包和分发任何软件。

    需求场景

    实验室是一个多人环境,需要做好权限管理不然很容易搞乱,所以拟定用Anaconda来进行python的运行环境管理

    根据实际需求自定义安装Anaconda,在root下创建的conda python环境为所有用户都能使用的环境,python环境目录在/usr/share/anaconda3/envs/下面。

    用户自己创建的环境会在各自的home目录下,不会影响到别人的。

    环境设置

    实际中遇到的情况是在模型比较简单的情况下,用GPU加速的TensorFlow会跑的比CPU还慢

    并且各种可执行的算法代码有时候是python2的,有时候是python3的,所以最终拟定创建4个python source执行环境

    最终拟定创建的4个conda环境命名如下

    硬件 python2.7 python3.5
    gpu py2-tf-gpu py3-tf-gpu
    cpu py2-tf-cpu py3-tf-cpu

    安装流程

    1. 安装显卡驱动
    2. (可选)安装 cuda 和 cudnn
    3. 安装Anconda
    4. 创建conda python环境

    安装显卡驱动

    参考

    https://blog.csdn.net/jhszh418762259/article/details/52957166

    https://blog.csdn.net/u012581999/article/details/52433609

    (可选)卸载可能存在的旧版本 nvidia 驱动

    (对没有安装过 nvidia 驱动的主机,这步可以省略,但推荐执行,无害)

    $sudo apt-get remove --purge nvidia*
    

    禁用自带的 nouveau nvidia驱动

    创建一个文件通过命令

    sudo vim /etc/modprobe.d/blacklist-nouveau.conf
    

    并添加如下内容:

    blacklist nouveau
    options nouveau modeset=0
    

    再更新一下

    sudo update-initramfs -u
    

    修改后需要重启系统。确认下Nouveau是已经被你干掉,使用命令:

    lsmod | grep nouveau
    

    3重启系统至init 3(文本模式),也可先进入图形桌面再运行init 3进入文本模式,再安装下载的驱动就无问题,

    首先我们需要结束x-window的服务,否则驱动将无法正常安装

    Driver测试:

    nvidia-smi #若列出GPU的信息列表,表示驱动安装成功
    

    安装驱动

    去官网下载对于版本的安装包,并执行

    sudo ./NVIDIA.run
    

    开始安装,安装过程比较快,根据提示选择即可

    用 nvdia-prime 切换显卡

    如果CPU带有集成显卡

    使用 nvdia-prime 切换到独立显卡上

    (可选)手动安装cuda + CUDNN

    这里有两种解决方案,一种是根据官方文档自行安装,另一种是在conda创建环境的时候,由conda包管理工具自动安装

    cuda 和 cudnn 以及TensorFlow对这两者之间的版本支持情况可能有坑,只是想快速上手少折腾的话强烈推荐直接用conda来安装

    cuda安装官方文档

    http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html

    cudnn安装官方文档

    http://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html

    anaconda 安装

    参考 https://www.jianshu.com/p/17288627b994

    直接采用sh安装包默认安装的anaconda会多用户无法共享,这里的自定义安装可以所有用户可以共用conda,用户自己创建的环境会在各自的home目录下,不会影响到别人的。由root创建的python环境是大家可以共用的。

    安装流程

    1. https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载安装包
    2. 在root下运行指令安装 sh Anaconda3-X.X.X-Linux-x86_64.sh
    3. 选择安装目录的时候填 /usr/share/anaconda3
    4. 用vim编辑 /etc/bash.bashrc,添加 export PATH="/usr/share/anaconda3/bin:$PATH" 到文件中
    5. 重启终端即可使用conda命令

    conda使用方法

    安装成功验证

    在终端窗口中,输入以下内容:

    conda --version
    
    创建环境
    conda create --name py2-tf-cpu python=2.7 tensorflow
    

    这将创建一个名为/envs/py2-tf-cpu,该环境指定python版本为2.7,该环境会自动安装tensorflow及其所需要的依赖项目。

    提示:两个破折号(--)后面的许多常用选项可以缩写为短划线和第一个字母。所以--name和-n选项是一样的,--envs和-e是一样的。见conda --help或conda -h查看缩写列表。

    查看环境列表

    现在让我们检查到目前为止已经安装了哪些环境。使用conda environment info命令找出:

    conda info -e 
    # 或者 conda info --envs
    
    使用某个环境

    更改为其他环境,输入以下命令

    source activate py2-tf-cpu
    

    取消当前环境,回到默认的环境

    source deactivate
    
    为当前环境安装某个包

    用pip或者conda直接安装均可,对于tensorflow-gpu版本,非常推荐使用conda来安装,它会自动帮忙安装cuda和cudnn,很省心,只需要提前装好显卡驱动就行了

    conda install tensorflow-gpu
    # pip install tensorflow-gpu
    
    查看在环境中安装的软件包和版本的列表

    使用此选项可查看环境中安装的是哪个版本的Python或其他程序,或者确认已添加或删除了包。在您的终端窗口中,只需键入:

    conda list
    

    相关文章

      网友评论

          本文标题:小记ubantu conda TensorFlow 环境配置

          本文链接:https://www.haomeiwen.com/subject/gbwylftx.html