环境

Anaconda3 / Python 3.7
Tensorflow-gpu 2.0
TensorRT 7.3
CUDA 10.2
CUDNN 8.1
VS 2019

1.下载TensorRT

注意下载自己的对应版本

2.安装uff和graphsurgeon

分别找到：graphsurgeon-0.4.5-py2.py3-none-any.whl 与 uff-0.6.9-py2.py3-none-any.whl

>pip install uff-0.6.9-py2.py3-none-any.whl
>pip install graphsurgeon-0.4.5-py2.py3-none-any.whl

3.复制dll文件到cuda安装目录

把上面的 dll 拷贝到： C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin （就是CUDA的安装路径）

4.添加环境变量

PATH：D:\xxxxxxx\TensorRT-7.2.3\lib

5.测试

VS2019 打开 -> sample_mnist.sln （懒得截了，借用别人的截图~~）

右键 -> 生成
生成后文件的目录：

注意先下载数据！

下载 mnist 数据：(python 运行即可)

如何因为网络的原因下载不下来，可以把部分代码修改如下：

#改一下url的文件
with urllib.request.urlopen("http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz") as res:
     data = load_mnist_data(gzip.decompress(res.read()))

with urllib.request.urlopen("http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz") as res:
     labels = load_mnist_labels(gzip.decompress(res.read()))

运行 sample_mnist.exe