Hướng dẫn cài đặt TensorRT trên Windows 10

TensorRT là thư viện Deep Learning của NVIDIA giúp tăng tốc xử lý bằng GPU NVIDIA. Nghe qua cũng giống như OpenCV, TensorFlow, Pytorch nhỉ? Trong trường hợp bạn muốn triển khai dự án lên Jetson Nano thì TensorRT sẽ là 1 công cụ hiệu quả giúp bạn debug trên Windows và release trên Jetson Nano dễ dàng.

Có nghĩa là với Django + TensorRT bạn có thể viết web application Deep Learning trên Windows, sau đó deploy lên Jetson Nano để sử dụng thực tế. Combo TensorRT + Django + Sqlite giúp bạn triển khai 1 dự án dễ dàng trên cả Windows lẫn Jetson Nano.

Bài viết này sử dụng Windows 10 và GPU NVIDIA RTX 3060.

Bước 1: cài đặt Python 3.7.3

Download Python 3.7.3 amd64
Cài đặt xong restart PC.

Bước 2: cài đặt CUDA 11.3 và cuDNN 8.2.1

Download CUDA 11.3: cuda_11.3.0_465.89_win10.exe (2.7GB)

Cài đặt xong restart PC.

Download cuDNN 8.2.1: https://developer.nvidia.com/rdp/cudnn-archive
Chọn file cuDNN Library for Windows (x86) như hình dưới

Donwload xong giải nén file cudnn-11.3-windows-x64-v8.2.1.32.zip, sau đó copy các folder con vào thư mục C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin như hình dưới

Copy xong restart PC. Ghi chú: chỗ nào ghi restart PC thì cứ chịu khó restart, 1 phút là xong.

Bước 3: download TensorRT

Truy cập vào link download của NVIDIA TensorRT: https://developer.nvidia.com/nvidia-tensorrt-8x-download

Nếu bạn chưa đăng ký tài khoản NVIDIA developer thì cần đăng ký rồi đăng nhập để có thể tải được.

Sau đó download bản GA (General Availability). Trong bài này mình download TensorRT 8.6 GA được file TensorRT-8.6.1.6.Windows10.x86_64.cuda-11.8.zip

Giải nén file zip vào folder D:\TensorRT-8.6.1.6

Bước 4: copy file lib & dll vào folder CUDA toolkit

Trong folder D:\TensorRT-8.6.1.6\lib có 1 số file lib & dll như hình dưới. Các bạn copy tất cả file đó vào folder C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin

Bước 5: cài đặt TensorRT Python package

Vào folder D:\TensorRT-8.6.1.6\python chạy command line:
pip install tensorrt-8.6.1-cp37-none-win_amd64.whl

Nếu thành công kết quả sẽ như hình dưới

Kiểm tra phiên bản của TensorRT