1、电脑配置说明

Ubuntu 16.04 on Google cloud VM

2、安装NVIDIA GPU驱动

2.1 查询GPU驱动

首先去NVIDIA官网http://www.nvidia.com/Download/index.aspx?lang=en-us查看适合自己显卡的驱动并下载。如下图1，图2所示。

图1. 填写GPU和系统信息 图2. 搜索结果

本文中显卡型号是Tesla K80，系统linux 64-bit，按照要求点击serach出现图2所示搜索结果，点击下载。本文中下载的驱动文件是：NVIDIA-Linux-x86_64-384.111.run。

注意：我们要把这个文件放到英文目录（e.g. /home）下，原因是下面我们要切换到文字界面下，如果放到中文目录下，我们没有办法进入这个目录（没有中文输入法，且中文全部是乱码）。

2.2 安装GPU驱动

2.2.1 屏蔽自带显卡驱动

如果自带驱动，则需要屏蔽原来的驱动。

1） 在终端下输入： sudo gedit /etc/modprobe.d/blacklist.conf

2） 输入密码收在最后一行加上：blacklist nouveau. 这里是将Ubuntu自带的显卡驱动加入黑名单

3） 在终端输入：sudo update-initramfs –u，使修改生效

4） 重启电脑

由于我是在Google cloud的VM上装的，没有自带显卡，直接从下面步骤开始的。

2.2.2 安装新驱动

1） 启动电脑后，按Ctrl+Alt+F1~F6进入命令行界面（安装GPU驱动要求在命令行环境），输入用户名和密码进入用户目录

2） 输入命令：sudo service lightdm stop

3） 进入驱动所在的文件夹，sudo chmod +x ./NVIDIA-Linux-x86_64-384.111.run，修改权限。然后：sudo ./NVIDIA-Linux-x86_64-384.111.run，进入安装程序

4） 完成安装后，重启电脑

5） 重启电脑后，输入以下指令进行验证：sudo nvidia-smi，若列出了GPU的信息列表则表示驱动安装成功。如下图3所示。

图3. GPU信息列表

3 安装CUDA

CUDA是NVIDIA的编程语言平台，想使用GPU就必须要使用cuda。

(1) 下载CUDA

首先在官网上https://developer.nvidia.com/cuda-downloads下载CUDA。下载CUDA时一定要注意CUDA和NVIDIA显卡驱动的适配性。现在的情况是：CUDA_8.0支持375.及以上系列的显卡驱动；CUDA_9.0支持384.及以上系列的显卡驱动；CUDA_9.1支持389.**及以上系列的显卡驱动。本文中的显卡驱动为384.111系列，所以不能下载最新版本的CUDA_9.1，最后下载的是cuda_9.0.176_384.81_linux.run（当然，CUDA_8.0也是没问题的）。下载界面如下图4所示。

图4. CUDA_9.0下载界面

(2) 运行安装程序

执行以下命令：

sudo chmod 777 cuda_9.0.176_384.81_linux.run

sudo ./cuda_9.0.176_384.81_linux.run

注意：执行后会有一系列提示让你确认，但是注意，有个让你选择是否安装nvidia384驱动时，一定要选择否：Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 384.**?

因为前面我们已经安装了更加新的nvidia384，所以这里不要选择安装。其余的都直接默认或者选择是即可。

(3) 环境变量设置

打开~/.bashrc文件：sudo gedit ~/.bashrc

将以下内容写入到~/.bashrc尾部：

exportPATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}

exportLD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

(4) 测试CUDA是否安装成功

执行以下命令：

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery

sudo make

sudo ./deviceQuery

如果显示一些关于GPU的信息，则说明安装成功。如下图5所示。

图5. CUDA测试信息

4 配置cuDNN

cuDNN是GPU加速计算深层神经网络的库。

(1) 首先去官网 https://developer.nvidia.com/rdp/cudnn-download 下载cuDNN，需要注册一个账号才能下载。下载cuDNN时也一定要注意与CUDA版本的适配性，此信息官网中已经给的很清楚。下载界面如下图6所示。

图6. cuDNN下载界面

(2) 下载cuDNN后进行解压：sudo tar -zxvf ./cudnn-9.0-linux-x64-v7.tgz

(3) 进入解压后的文件夹下的include目录，在命令行进行如下操作：

cd cuda/include

sudo cp cudnn.h/usr/local/cuda/include #复制头文件到cuda头文件目录

(4) 进入lib64目录下，对动态文件进行复制和软链接

cd ..

cd lib64

sudo cp lib*/usr/local/cuda/lib64/    #复制动态链接库

cd /usr/local/cuda/lib64/

sudo rm -rf libcudnn.solibcudnn.so.7    #删除原有动态文件

sudo ln -s libcudnn.so.7.0.5libcudnn.so.7  #生成软衔接

sudo ln -s libcudnn.so.7libcudnn.so      #生成软链接

然后设置环境变量和动态链接库，在命令行输入：

$ sudo gedit /etc/profile

在打开的文件末尾加入：

export PATH = /usr/local/cuda/bin:$PATH

保存之后，创建链接文件：

$ sudo vim /etc/ld.so.conf.d/cuda.conf

按下键盘i进行编辑，输入链接库位置：

/usr/local/cuda/lib64

然后按esc，输入:wq保存退出。并在终端输入：

$ sudo ldconfig

使链接立即生效。

这几句特别重要，我当时就是因为没加这几句，导致编译caffe总是出现共享的链接库libcudnn.so.5 不存在，可是libcudnn.so.5明明存在啊，在这里折腾了好长时间，后来才知道是cudnn链接库没有链接上。

5 安装OpenCV3.2

详细的安装请参考：http://www.linuxidc.com/Linux/2017-07/145446.htm

(1) 从官网(http://opencv.org/downloads.html)下载Opencv,并将其解压到你要安装的位置，假设解压到了/home/opencv。

unzip opencv-3.2.0.zip

sudo cp ./opencv-3.2.0 /home/username

sudo mv opencv-3.2.0 opencv

(2) 安装前准备，创建编译文件夹

cd ~/opencv

mkdir build

cd build

(3) 配置

sudo apt install cmake

sudo cmake -D CMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local ..

(4) 编译

sudo make -j8 (-j8表示并行计算，根据自己电脑的配置进行设置，配置比较低的电脑可以将数字改小或不使用，直接输make)

(5) 安装

以上只是将opencv编译成功，还没将opencv安装，需要运行下面指令进行安装：

sudo make install

6 配置Caffe

(1) 安装相关依赖

sudoapt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-devlibhdf5-serial-dev protobuf-compiler

sudoapt-get install --no-install-recommends libboost-all-dev

sudoapt-get install libopenblas-dev liblapack-dev libatlas-base-dev

sudoapt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

(2) 下载Caffe

使用Git直接下载Caffe非常简单，或者去https://github.com/BVLC/caffe下载。

下载完成后，会在家目录下的下载里找到caffe-master.zip，用unzip命令解压到家目录下，然后重命名为caffe。

(3) 修改Makefile.config

因为make指令只能make Makefile.config文件，而Makefile.config.example是caffe给出的makefile例子。因此，首先将Makefile.config.example的内容复制到Makefile.config：

sudo cp Makefile.config.example Makefile.config

打开并修改配置文件：

sudo vi Makefile.config  #打开Makefile.config文件 根据个人情况修改文件：

a. 若使用cudnn，则将

#USE_CUDNN:= 1

修改成：

USE_CUDNN:= 1

b. 若使用的opencv版本是3的，则将

#OPENCV_VERSION:= 3

修改为：

OPENCV_VERSION:= 3

c. 若要使用python来编写layer，则将

#WITH_PYTHON_LAYER:= 1 

修改为

WITH_PYTHON_LAYER := 1

d. 重要的一项，将

#Whatever else you find you need goes here. 下面的

INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include

LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib

修改为：

INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial

LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/usr/lib/x86_64-linux-gnu/hdf5/serial      

这是因为Ubuntu16.04的文件包含位置发生了变化，尤其是需要用到的hdf5的位置，所以需要更改这一路径。

如果要使用Anaconda的python

将下面代码修改成：
(大致做的事情就是添加anaconda的python路径，注释掉系统本身自带的python路径。)

# NOTE: this is required only if you will compile the python interface.
# We need to be able to find Python.h and numpy/arrayobject.h.
#PYTHON_INCLUDE := /usr/include/python2.7 \              ###注释掉
#                /usr/lib/python2.7/dist-packages/numpy/core/include

# Anaconda Python distribution is quite popular. Include path:
# Verify anaconda location, sometimes it's in root.
ANACONDA_HOME := $(usr/local)/anaconda2             ##取消注释，并且修改（XXX)内为自己anaconda的安装路径
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \        ##取消注释
$(ANACONDA_HOME)/include/python3.6m \
$(ANACONDA_HOME)/lib/python3.6/site-packages/numpy/core/include

# Uncomment to use Python 3 (default is Python 2)                   
# PYTHON_LIBRARIES := boost_python3 python3.5m
# PYTHON_INCLUDE := /usr/include/python3.5m \              ##注释掉系统自带的
#                /usr/lib/python3.5/dist-packages/numpy/core/include

# We need to be able to find libpythonX.X.so or .dylib.
#PYTHON_LIB := /usr/lib                                        ##注释掉系统自带的                  
PYTHON_LIB := $(ANACONDA_HOME)/lib                ##取消注释

问题:

/usr/include/boost/python/detail/wrap_python.hpp:50:23: fatal error: pyconfig.h: No such file or directory

解决方案:

make clean
export CPLUS_INCLUDE_PATH=/usr/include/python2.7
make all -j8

原因:

python路径都改为了anaconda的路径，但是CPLUS的path没有设置，系统中我也没把aneconda设置成默认的python导致的.

(4) 修改Makefile文件

打开Makefile文件，做如下修改，将：

NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC$(COMMON_FLAGS)

替换为：

NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX)-Xcompiler -fPIC $(COMMON_FLAGS)

(5) 编辑/usr/local/cuda/include/host_config.h

将其中的第115行注释掉，将

#error-- unsupported GNU version! gcc versionslater than 4.9 are not supported!

改为：

//#error-- unsupported GNU version! gcc versionslater than 4.9 are not supported!

(6) 编译

make all -j8  #-j根据自己电脑配置决定

(7) 测试

sudo make runtest

如果运行之后出现下图7所示，说明caffe配置成功。

图7. Caffe测试成功运行结果e

如果遇到错误，修改完config文件之后重新make 要先make clean：

进入caffe根目录，输入如下命令：
sudo make clean

7 MNIST数据集测试

配置caffe完成后，我们可以利用MNIST数据集对caffe进行测试，过程如下：

1.将终端定位到Caffe根目录

cd ~/caffe

2.下载MNIST数据库并解压缩

./data/mnist/get_mnist.sh

3.将其转换成Lmdb数据库格式

./examples/mnist/create_mnist.sh

4.训练网络

./examples/mnist/train_lenet.sh

训练的时候可以看到损失与精度数值，如下图8所示：

图8. Lenet-5网络运行结果

8 安装digits

digits是caffe的一个可视化工具，可使我们对caffe的操作变得方便容易。

1).获取digits安装包

1.  sudo git clone https://github.com/NVIDIA/DIGITS.git digits  

2).安装digits及依赖项

1.  cd digits  
2.  sudo apt-get install graphviz gunicorn  
3.  for req in $(cat requirements.txt); do sudo pip install $req; done   

3).打开digits

启动Digits服务：

% sudo start nvidia-digits-server

关闭Digits服务：

% sudo stop nvidia-digits-server

在网页上输入http://localhost:5000即可打开界面。

可参考博客： Ubuntu下安装CAFFE-Digits

8.2 一般服务器上启动

1.  cd digits  
2.  ./digits-devserver  

然后利用Xshell客户端重定向：

在连接属性设置的界面，我们点击ssh-隧道

image
点“添加”。类型选择“local”，所有设置如图，侦听端口自行设置，不与已占用的端口冲突就行,比如设置15000。

目标主机填写虚拟机（远程服务器）的内网IP，目标端口根据实际需求设定。

由于digits在5000端口，这里目标端口就填5000
完成以上设置后，就建立了从本地主机到远程服务器的端口转发，在本地主机的浏览器中输入127.0.0.1:15000（示例）就可以访问内网的5000端口了。

8.3 遇到问题：

problem

pip: command not found

Solution

sudo apt-get install python-pip

problem

对于ubuntu的虚机使用upstart时会报错：
Start: Unable To Connect To Upstart:
Failed To Connect To Socket /Com/Ubuntu/Upstart: Connection Refused

workaround如下：

sudo dpkg-divert --local --rename --add /sbin/initctl
ln -s /bin/true /sbin/initctl

转载自:
Ubuntu16.04安装配置Caffe教程(GPU版)
Ubuntu16.04+caffe+digits安装配置