打算记录两部分，一部分是关于编译gpu版本的syntaxnet的内容，另一部分是关于中文句法依存模型训练方面的内容。本文是GPU版本Syntaxnet环境搭建部分。
关键字
Syntaxnet; GPU; Ubuntu16.04; TITANX (Pascal）; CUDA8.0
环境
- 操作系统： Ubuntu 16.04
- 显卡：TITANX (PASCAL)
- CUDA版本： 8.0
- cuDNN版本：5.1
动机
由于CPU版本下的Syntaxnet训练数据太过于缓慢，所以考虑利用GPU进行训练（ps: 在syntaxnet中GPU还是有较明显的加速效果）
目标
目前通用的句法依存工具，比如哈工大的语言云效果也不错了，但是在使用中还是发现了一些问题。利用syntaxnet工具训练中文句法依存模型，通过人工加入领域相关的标注预料，期望提高在特定领域下中文句法分析的效果。
操作要点
- 安装TITAN X的驱动
- 安装CUDA8.0
- cuDNN 5.1
- 安装syntaxnet需要依赖
- 编译gpu版的syntaxnet
- 测试安装结果
以下针对上述的步骤展开描述
1. 安装TITAN X(PASCAL)驱动
- 去nvidia网站上下载驱动，选择对应版本信息。（http://www.nvidia.cn/Download/index.aspx?lang=cn）
TITAN X驱动下载
- 安装驱动时，需要关闭ubuntu中的开源驱动 nouveau（可以百度如何在ubuntu中禁用nouveau）， 关闭x server(不要问我为啥，因为安装成功的这次是关闭的）， 同时也不安装OpenGL。对于这三个操作，除了禁用nouveau，其他两个操作都是可以在安装驱动时候的选择的。网上，提供了一种更加简便的方法，即在运行驱动文件时指定参数。
# 参考：http://blog.csdn.net/chaihuimin/article/details/71006654?locationNum=2&fps=1
sudo ./NVIDIA_xxxx.run -no-x-check -no-nouveau-check -no-opengl-files
2. 安装CUDA8.0
下载指定版本的cuda 8.0，然后按照图中的Installation instructions进行安装。建议选择*.run版本的，.deb版本总感觉有些问题。如果已经安装了TITAN X驱动，那么在安装的时候不要再次安装驱动。（下载地址：https://developer.nvidia.com/cuda-downloads）
cuda8.0下载
cuda8.0默认安装在/usr/local/cuda-8.0, 注意/usr/local/cuda时它的symbolic link， 注意在cuda安装完成以后需要配置环境变量（其实，在cuda安装完成以后，打印的消息也有提示需要配置环境变量）
# 执行如下命令
vim ~/.bashrc
# 在~/.bashrc文件中添加如下环境变量
export CUDA_HOME=/usr/local/cuda-8.0
export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8
3. 安装cuDNN
- 此处我选择的是cuDNN5.1 for CUDA 8.0的版本, 下载cuDNN的时候需要注册NVIDIA的账号，注册完成以后既可以下载(https://developer.nvidia.com/rdp/cudnn-download)，在下载时既可以下载.deb版本，也可以下载.tgz版本。此处的安装方法，可以参考官方文档。不过5.1的文档写的比较复杂，我当时参考了7.0的安装方法，进行安装以及测试，此处感觉坑少。驱动和cuDNN安装都可以参考官方文档，在cuDNN下载选项，可以选择cuDNN-Installation-Guide。
cuDNN7.0linux .tgz安装方法
如果选择了*.deb的方法安装, 选择安装样例，安装完成以后可以进行测试，如下。
cuDNN7.0linux .deb安装方法.png
4. 安装syntaxnet依赖
参考syntaxnet的github网站https://github.com/tensorflow/models/tree/master/syntaxnet
syntaxnet依赖安装
5. 编译gpu版的syntaxnet
安装完syntaxnet运行可能需要的依赖以后，接着执行syntaxnet的编译过程，参考https://github.com/tensorflow/models/issues/248中的utkrist的答案，如下图
image.png
注意，在./configure的执行过程中，如果出现了找不到cuDNN相应的文件，那么使我们在输入cuDNN的版本号时输入有问题，比如输入7和7.0是不一样的。严格安装utkrist的方法来即可。
ps: 我在安装的过程中，没有报错，但是在进行测试的试试，有一些test无法通过，比如train_parser，有提示显示数据数据太大的之类的原因，我忽略了。
6. 测试安装结果
编译完全通过以后，可以运行syntaxnet自带的例子，不过我选了手上有的中文预料，进行测试。测试脚本大量参考了这个项目https://github.com/dsindex/syntaxnet(是一个利用syntaxnet训练韩语句法依存模型的项目）。运行测试脚本后，输出如下，表面已经使用上了TITAN X显卡。
训练句法依存模型-测试
此时，在查看nvidia-smi，发现所有显存都已经被占满, 但是只有一个GPU在工作。
image.png
在同一的数据集上，GPU版本syntaxnet相比于CPU版本syntaxnet， 计算效率只有80 %多的提升，在运行过程中发现，大多数时间GPU的使用效率都是非常非常低的，3%左右。这个问题，希望有小伙伴能够指导一下。
参考文献
https://github.com/dsindex/syntaxnet
https://github.com/tensorflow/models/tree/master/syntaxnet
https://github.com/tensorflow/models/issues/248
https://github.com/tensorflow/serving/issues/327
其他
网友评论