引言

最近在做一个项目，需要使用TensorRT去加速神经网络模型运行。TensorRT支持FP16、 INT8等数据类型， 在运用后，发现模型推理速度大大提高，英伟达的TensorRT实在太强了。只可惜这个工具没有开源，不然真要好好研究。

由于我原本使用了PyTorch来训练我的模型， 而TensorRT无法直接加载PyTorch的模型，需要使用ONNX作为中间媒介。中间踩了些坑，不过后面都解决了。根据此写了个小教程，分享给大家

教程

代码已经上传到GitHub啦，请移步传送门

结语

听说TensorRT已经出INT4类型的加速了，真是可怕，后续会跟进的。
喜欢的话请加星点赞哟