美文网首页
Windows 10 + NVIDIA配置 Anaconda +

Windows 10 + NVIDIA配置 Anaconda +

作者: 凯恩博 | 来源:发表于2019-03-07 19:10 被阅读0次

适用对象:在做机器学习/数据科学相关事情,不用online Jupyter,坚持在本地搭建环境的人..

在过去的一段时间,我一直在研究数据科学包括深度学习的相关内容。然而需要学习的知识似乎并不总是像你期望的那样顺利。

目前这个领域最常见的编程语言和事实上的标准是Python和R。
与任何其他编程语言和工具一样,总是需要学习和熟悉的众多工具和框架,以便充分利用它们。
你可以花费和浪费无数时间来学习如何安装和配置各种数据科学包,如Numpy,Matplotlib,TensorFlow等,试图解决各种包依赖关系。

如果你遇到Anaconda,它会成为你最好的朋友,因为它会帮你减轻入门的挫败感。
Anaconda发行版附带1000多个数据包,包括 conda和虚拟环境管理器。

在这篇文章中,我们将探讨如何使用Anaconda安装Jupyter Notebook并开始使用Tensorflow和Keras来开始深度学习。Jupyter Notebook非常有助于您熟悉数据科学项目中想要实现的任何内容。并帮你再AI时代脱颖而出(可以参考《分享你的Jupyter Notebook,在AI时代脱颖而出》)。

一个小问题

虽然大家都觉得Anaconda很好,但是,一个个小问题:

目前官网最新的Anaconda是集成Python 3.7的环境,注意是Python 3.7

而Python 3.7和当前最新的TensorFlow 稳定版是不兼容的!

所以这里我将以今天新鲜出炉的经验分享于你,
介绍如何在集成Python 3.7的Anaconda安装Python 3.6和TensorFlow-GPU。

电脑配置(供参考)

这里是我的电脑配置,供参考。
当然这只是一个入门级的配置。

  • Windows 10 Pro (Version 1803)
  • Intel(R) Core(TM) i7-8700 CPU @ 3.20 GHz (6核心/12超线程)
  • 16 GB Memory
  • 1 TB Hard Disk
  • NVIDIA GeForce GTX 1070

下面进入正题,建议按照这个顺序来安装是比较合理的。

一、创建Python 3.6环境

右键管理员启动anaconda Prompt

创建python36这个环境:

conda create --name python36 python=3.6

进入python36这个环境

conda activate python36

如果有需要回到 Python 3.7

如下:

conda deactivate 

二、安装 tensorflow-gpu

确认已经安装显卡驱动

如果没装,请先到NVIDIA官网下载(本文是针对NVIDIA显卡,如果是Intel或者AMD显卡,请先哭一会...)

开始装TensorFlow-gpu

先确保是在python36这个环境下:

conda activate python36

开始安装:

conda install tensorflow-gpu

需要装很多文件的,如果网速慢的话,估计需要几十分钟到几小时的。请耐心,这个没法,获取去找一个更好的源(已经超出本文范围..)

检查TensorFlow是否已安装好

在python36里,进入python,然后输入:

import tensorflow as tf
hello = tf.constant('Hello , Tensorflow! ')
sess = tf.Session()
print(sess.run(hello))

预期输出

b'Hello , Tensorflow! '

如果OK就对啦,当然,你可以能回到如下问题:

遇到mkl_intel_thread.dll无法找到的问题

解决办法(这也是Anaconda官方推荐的方案):
在conda prompt:

conda update python

再一次,需要装很多文件的,如果网速慢的话,估计需要几十分钟。

设置环境变量的值(可以在conda prompt设置,但下次就无效了;如需永久,在电脑环境变量设置)
set CONDA_DLL_SEARCH_MODIFICATION_ENABLE = 1

Disable GPU的Log信息

可能会有一堆的Warning,例如

2019-03-07 17:25:51.878252: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2
2019-03-07 17:25:52.221768: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1432] Found device 0 with properties:
name: GeForce GTX 1070 major: 6 minor: 1 memoryClockRate(GHz): 1.683
pciBusID: 0000:01:00.0
totalMemory: 8.00GiB freeMemory: 6.64GiB
2019-03-07 17:25:52.227274: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1511] Adding visible gpu devices: 0
2019-03-07 17:25:52.655576: I tensorflow/core/common_runtime/gpu/gpu_device.cc:982] Device interconnect StreamExecutor with strength 1 edge matrix:
2019-03-07 17:25:52.658983: I tensorflow/core/common_runtime/gpu/gpu_device.cc:988]      0
2019-03-07 17:25:52.660728: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1001] 0:   N
2019-03-07 17:25:52.662681: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1115] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 6396 MB memory) -> physical GPU (device: 0, name: GeForce GTX 1070, pci bus id: 0000:01:00.0, compute capability: 6.1)

解决办法:

在Python Code前设置log等级:

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

查看TensorFlowKeras版本:

import tensorflow as tf
from tensorflow.keras import layers

print(tf.VERSION)
print(tf.keras.__version__)

输出

1.12.0
2.1.6-tf

三、配置Jupyter Notebook

进入python36

conda activate python36

需要先安装ipykernel

命令如下:

conda install ipykernel
python -m ipykernel install --user --name python36 --display-name "Python (Python 3.6)"

输出:

Installed kernelspec python36 in C:\Users\***\AppData\Roaming\jupyter\kernels\python36

修改Jupyter的根目录

Jupyter个根目录默认在当前用户的Home路径。
这里示例将其改为D:\Jupyter路径
找到Jupyter Notebook的启动快捷方式,默认路径在:
C:\Users\******\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Anaconda3 (64-bit)

找到它的属性 -> 快捷方式,默认为(这里我是将Anaconda3安装在了D盘的根目录的):

D:\Anaconda3\python.exe D:\Anaconda3\cwp.py D:\Anaconda3 D:\Anaconda3\python.exe D:\Anaconda3\Scripts\jupyter-notebook-script.py %USERPROFILE%

把里面的%USERPROFILE% 替换为 D:\Jupyter,即可。

以后再通过Jupyter Notebook的快捷方式启动,根目录就在D:\Jupyter了。

四、配置PyCharm

虽说有了Jupyter Notebook,已经可以很方便的调试和查看Code,但是对于大一点的程序,还是直接在PyCharm里面编写比较方便。

  1. 在PyCharm中新建Project
  2. 在“Project Interpreter”中选择“Existing interpreter”
  3. 选择Python36这个路径下的python.exe作为interpreter

当然,除了PyCharm还有很多其他Python IDE是很推荐的,可以看这篇《推荐AI必备语言Python的几款IDE》

在PyCharm中测试一下

创建一个.py文件,还是用TensorFlow的例子,当然这次高级一点,来比较一下CPU和GPU的时间差异:

import tensorflow as tf
import timeit
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

# See https://www.tensorflow.org/tutorials/using_gpu#allowing_gpu_memory_growth
config = tf.ConfigProto()
config.gpu_options.allow_growth = True

with tf.device('/cpu:0'):
    random_image_cpu = tf.random_normal((100, 1000, 100, 3))
    net_cpu = tf.layers.conv2d(random_image_cpu, 32, 7)
    net_cpu = tf.reduce_sum(net_cpu)

with tf.device('/gpu:0'):
    random_image_gpu = tf.random_normal((100, 1000, 100, 3))
    net_gpu = tf.layers.conv2d(random_image_gpu, 32, 7)
    net_gpu = tf.reduce_sum(net_gpu)

sess = tf.Session(config=config)

# Test execution once to detect errors early.
try:
    sess.run(tf.global_variables_initializer())
except tf.errors.InvalidArgumentError:
    print(
        '如果出了这个Error表示GPU配置不成功!\n\n')
    raise


def cpu():
    sess.run(net_cpu)


def gpu():
    sess.run(net_gpu)


# Runs the op several times.
print('Time (s) to convolve 32x7x7x3 filter over random 100x1000x100x3 images '
      '(batch x height x width x channel). Sum of ten runs.')
print('CPU (s):')
cpu_time = timeit.timeit('cpu()', number=10, setup="from __main__ import cpu")
print(cpu_time)
print('GPU (s):')
gpu_time = timeit.timeit('gpu()', number=10, setup="from __main__ import gpu")
print(gpu_time)
print('GPU speedup over CPU: {}x'.format(int(cpu_time / gpu_time)))

sess.close()

输出:

Time (s) to convolve 32x7x7x3 filter over random 100x1000x100x3 images (batch x height x width x channel). Sum of ten runs.
CPU (s):
25.24234085335886
GPU (s):
1.5711942943447745
GPU speedup over CPU: 16x

不错~ 这个GPU和6个i7的CPU相比快了16倍!!

总结

为了安装使用TensorFlow-GPU,Anaconda提供简单、快速的安装方式。非常推荐!

最后,工具是前提,配置好了之后还是要更多的专注在算法、模型和原理上。

相关文章

网友评论

      本文标题:Windows 10 + NVIDIA配置 Anaconda +

      本文链接:https://www.haomeiwen.com/subject/nidkuqtx.html