簡介

本文介紹在Ubuntu系統下安裝TensorRT的具體步驟，主要支持C++的調用，理論上適合各種Linux發行版。

準備工作

CUDA安裝

首先需要確保正確安裝CUDA，可以參考我之前的博文，通過nvcc -V驗證是否安裝。

下載TensorRT

訪問官網下載地址，下載合適的版本，我們選擇壓縮包文件下載，如下圖。這里建議選用較新的8.x版本，支持比較多，我這里的CUDA版本為11.1，因此選擇了這個文件。

安裝TensorRT

必須要說的是，其實TensorRT的安裝完全可以參照NVIDIA官方文檔安裝成功，我這里只是做一個具體的示例。

我們首先通過下面的命令解壓下載的壓縮包，并將解壓得到的庫文件移動到想要安裝的位置，比如我想要安裝到家目錄下的opt文件夾中。

tar -xzvf TensorRT-8.0.3.4.Linux.x86_64-gnu.cuda-11.3.cudnn8.2.tar.gz mv TensorRT-8.0.3.4 ~/opt/

然后，我們編輯環境變量vim ~/.bashrc，在其中增加下面一行后，通過source ~/.bashrc重新激活環境變量。

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/opt/TensorRT-8.0.3.4

接著，我們通過樣例程序判斷TRT能否正常工作。我們先是將sampleMNIST源碼進行編譯，此時會在bin目錄生成可執行文件，我們切換過去直接執行。

cd ~/opt/TensorRT-8.0.3.4/samples/sampleMNIST make cd ../../bin/ ./sample_mnist

如果輸出如下內容，最后顯示PASSED，表明樣例運行通過，那么TRT的安裝基本上沒什么問題。

[03/04/2022-21:25:41] [I] Input: @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@.*@@@@@@@@@@ @@@@@@@@@@@@@@@@.=@@@@@@@@@@ @@@@@@@@@@@@+@@@.=@@@@@@@@@@ @@@@@@@@@@@% #@@.=@@@@@@@@@@ @@@@@@@@@@@% #@@.=@@@@@@@@@@ @@@@@@@@@@@+ *@@:-@@@@@@@@@@ @@@@@@@@@@@= *@@= @@@@@@@@@@ @@@@@@@@@@@. #@@= @@@@@@@@@@ @@@@@@@@@@= =++.-@@@@@@@@@@ @@@@@@@@@@ =@@@@@@@@@@ @@@@@@@@@@ :*## =@@@@@@@@@@ @@@@@@@@@@:*@@@% =@@@@@@@@@@ @@@@@@@@@@@@@@@% =@@@@@@@@@@ @@@@@@@@@@@@@@@# =@@@@@@@@@@ @@@@@@@@@@@@@@@# =@@@@@@@@@@ @@@@@@@@@@@@@@@* *@@@@@@@@@@ @@@@@@@@@@@@@@@= #@@@@@@@@@@ @@@@@@@@@@@@@@@= #@@@@@@@@@@ @@@@@@@@@@@@@@@=.@@@@@@@@@@@ @@@@@@@@@@@@@@@++@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@[03/04/2022-21:25:41] [I] Output: 0: 1: 2: 3: 4: ********** 5: 6: 7: 8: 9:[03/04/2022-21:25:41] [I] [TRT] [MemUsageChange] Init cuBLAS/cuBLASLt: CPU +0, GPU +0, now: CPU 1819, GPU 1273 (MiB) &&&& PASSED TensorRT.sample_mnist [TensorRT v8003] # ./sample_mnist

總結

本文簡單介紹TensorRT的安裝，其實只要根據官方文檔安裝基本上就沒什么問題。

總結

以上是生活随笔為你收集整理的TensorRT安装教程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。