济南行业网站开发福州网站优化

目的
使用tensorRT进行网络模型部署，加快推理速度

方法
安装tensorRT的过程需要对各种组件的版本进行匹配
前置安装套件有：
1、CUDA
2、cuDNN
3、pyCUDA
4、tensorflow或pytorch

主要记录tensorRT安装:
tensorRT安装配置查询

步骤:
1、去tensorRT官网下载安装包
tensorRT下载官网相应版本

2、解压缩

3.打开系统控制变量
确认当前cuda版本 : nvcc --version

(base) C:\Users\yjt>nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Wed_Jul_22_19:09:35_Pacific_Daylight_Time_2020
Cuda compilation tools, release 11.0, V11.0.221
Build cuda_11.0_bu.relgpu_drvr445TC445_37.28845127_0

桌面→此电脑→右击选属性→高级系统设置→系统环境变量

确认,如下:

4. 配置TensorRT
将 TensorRT-7.2.3.4\include 中头文件 copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include；
将 TensorRT-7.2.3.4\lib 中所有lib文件 copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\lib\x64；
将 TensorRT-7.2.3.4\lib 中所有dll文件copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin；
在解压的tensorRT文件夹的python目录下，根据环境中的python版本选择安装包

pip install tensorrt-*-cp3x-none-win_amd64.whl

安装后续配置包，主要是uff, graphsurgeon, onnx_graphsurgeon三个包，在tensorRT的解压缩文件夹里都可以找到，直接pip install即可

5.完成
可以参考官方代码,愉快的使用了。