美文网首页深度学习
源码编译安装tensorflow 1.8

源码编译安装tensorflow 1.8

作者: 猴子喜 | 来源:发表于2018-12-26 14:40 被阅读1358次

    参考官方指南

    https://www.tensorflow.org/install/source?hl=zh-cn#configure_the_installation


    基本要求

    官网测试过的源代码配置如下:


    image

    也就是说,按照这个版本安装的话不应该再产生版本的问题了。


    我的配置

    ubuntu 16
    python 2.7
    nccl 2.3
    gcc 4.8.5
    cuda 7.1.4
    cudnn 9.0 (具体是9.0.176但是在./configure的那里不用输这么仔细,具体原因下面会说)

    安装bazel 0.10

    从源码编译安装

    官方的【安装步骤】,我试了没用,查到【这个博客】才发现缺乏如下步骤。

    1. 应该要使用,./compile.sh编译,要等待几分钟。
      image
    2. 编译后,最终生成的二进制文件bazel在当前目录的output/bazel下面
      由于 image

    把这个文件移动到venv/bin/bazel下面.

    note:
    安装version10的时候用这个方法没问题,我卸载干净之后用apt-get安装version21使用的是apt-get,官网有教程,行得通。


    bazel版本问题

    尝试bazel 0.21版本,产生如下报错:
    ERROR: Config value cuda is not defined in any .rc file
    最后发现tf1.8的构建版本时使用了bazel 0.10,所以果断换成了bazel 0.10


    bazel路径问题

    如果没有进入虚拟环境之前可以使用bazel命令但是进入虚拟环境之后不行,提示没有这个文件,则:(把外部环境的bazel加入路径)
    export PATH=/root/bin/:$PATH
    此时再输入bazel就可以找到啦。


    卸载bazel,重新安装

    卸载参考:https://github.com/bazelbuild/bazel/issues/962
    卸载完毕还是没法删除bazel.0.10,是因为虚拟环境下venv/bin/bazel存在。删除这个文件之后,终于显示删除成功。


    安装nccl 2.3

    因为无法登陆英伟达官方网站,所有采用giuthub的方式下载,按照build,install执行命令。


    NCCL-SLA.txt不存在的问题

    https://github.com/tensorflow/tensorflow/issues/19679
    确实没有这个文件,把license文件改名之后就没有报错了


    编译Tensorflow

    按照官网的说明,我需要的是r1.8版本的,切换分支就可以了。


    ./configure 文件的配置

    这一步也有挺多的坑

    1. 除了cuda,剩下的都选择n.

    2. gpu的compute capability查询方法:nvidia-smi 查看最上面显示的是什么型号的gpu.

      image
      可以看到,我的四块gpu都是GeForce GTX 108...,然后在【英伟达给出的官网】上查询得知计算能力是6.1
    3. nccl路径
      安装完之后命令行会提示你路径。

    4. gcc版本,我修改为gcc-4.8

    5. cuda,cudnn版本
      都不用输那么仔细的版本,因为可以看到./configure的输出如下:

      exec env -
      CUDA_TOOLKIT_PATH=/usr/local/cuda
      CUDNN_INSTALL_PATH=/usr/lib/x86_64-linux-gnu
      GCC_HOST_COMPILER_PATH=/usr/bin/gcc-4.8
      LD_LIBRARY_PATH=:/usr/local/cuda/extras/CUPTI/lib64
      NCCL_INSTALL_PATH=/data/lirong/py2/nccl/nccl/build
      PATH=/root/bin/:/data/lirong/py2/venv_python2.7/bin/:/data/lirong/py2/venv_python2.7/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:
      /sbin:/bin:/usr/games:/usr/local/games:/usr/local/cuda/bin
      PYTHON_BIN_PATH=/data/lirong/py2/venv_python2.7/bin//python
      PYTHON_LIB_PATH=/data/lirong/py2/venv_python2.7/lib/python2.7/site-packages
      TF_CUDA_CLANG=0
      TF_CUDA_COMPUTE_CAPABILITIES=6.1
      TF_CUDA_VERSION=9.0
      TF_CUDNN_VERSION=7
      TF_NCCL_VERSION=2
      TF_NEED_CUDA=1
      TF_NEED_OPENCL_SYCL=0 \


    bazel build这一步踩了很多的坑,成功之后。

    image

    然后按照官网的步骤没出错。


    最后需要重新打开一次命令行窗口,再次import tensorflow

    image
    安装成功

    踩过的坑

    bazel build编译的时候,如果遇到各种问题。command会提示Use --verbose_failures to see the command lines of failed build steps.,我之前一直没有注意,直到加了--verbose_failures这个条命令:

    bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package --verbose_failures

    试过,才发现完整的报错,然后很快google一下就解决了。


    issue 1

    报错

    AttributeError: 'int' object attribute '__doc__' is read-only
    Target //tensorflow/tools/pip_package:build_pip_package failed to build
    ...
    ERROR: /data/lirong/py2/tensorflow/tensorflow/tools/api/generator/BUILD:27:1: Executing genrule //tensorflow/tools/api/generator:python_api_gen
    failed (Exit 1)
    

    解决

    pip uninstall enum
    apt-get install python-enum34
    

    重新编译之后还会会报错,但是报的是issue 2


    issue 2

    错误提示

    ImportError: No module named enum
    Target //tensorflow/tools/pip_package:build_pip_package failed to build
    

    解决方法

    pip uninstall enum
    pip install enum34
    

    相关文章

      网友评论

        本文标题:源码编译安装tensorflow 1.8

        本文链接:https://www.haomeiwen.com/subject/ukyhlqtx.html