TensorRT là thư viện Deep Learning của NVIDIA giúp tăng tốc xử lý bằng GPU NVIDIA. Nghe qua cũng giống như OpenCV, TensorFlow, Pytorch nhỉ? Trong trường hợp bạn muốn triển khai dự án lên Jetson Nano thì TensorRT sẽ là 1 công cụ hiệu quả giúp bạn debug trên Windows và release trên Jetson Nano dễ dàng.
Có nghĩa là với Django + TensorRT bạn có thể viết web application Deep Learning trên Windows, sau đó deploy lên Jetson Nano để sử dụng thực tế. Combo TensorRT + Django + Sqlite giúp bạn triển khai 1 dự án dễ dàng trên cả Windows lẫn Jetson Nano.
Bài viết này sử dụng Windows 10 và GPU NVIDIA RTX 3060.
Bước 1: cài đặt Python 3.7.3
Download Python 3.7.3 amd64
Cài đặt xong restart PC.
Bước 2: cài đặt CUDA 11.3 và cuDNN 8.2.1
Download CUDA 11.3: cuda_11.3.0_465.89_win10.exe (2.7GB)
Cài đặt xong restart PC.
Download cuDNN 8.2.1: https://developer.nvidia.com/rdp/cudnn-archive
Chọn file cuDNN Library for Windows (x86) như hình dưới
Donwload xong giải nén file cudnn-11.3-windows-x64-v8.2.1.32.zip, sau đó copy các folder con vào thư mục C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin như hình dưới
Copy xong restart PC. Ghi chú: chỗ nào ghi restart PC thì cứ chịu khó restart, 1 phút là xong.
Bước 3: download TensorRT
Truy cập vào link download của NVIDIA TensorRT: https://developer.nvidia.com/nvidia-tensorrt-8x-download
Nếu bạn chưa đăng ký tài khoản NVIDIA developer thì cần đăng ký rồi đăng nhập để có thể tải được.
Sau đó download bản GA (General Availability). Trong bài này mình download TensorRT 8.6 GA được file TensorRT-8.6.1.6.Windows10.x86_64.cuda-11.8.zip
Giải nén file zip vào folder D:\TensorRT-8.6.1.6
Bước 4: copy file lib & dll vào folder CUDA toolkit
Trong folder D:\TensorRT-8.6.1.6\lib có 1 số file lib & dll như hình dưới. Các bạn copy tất cả file đó vào folder C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin
Bước 5: cài đặt TensorRT Python package
Vào folder D:\TensorRT-8.6.1.6\python chạy command line:
pip install tensorrt-8.6.1-cp37-none-win_amd64.whl
Nếu thành công kết quả sẽ như hình dưới
Kiểm tra phiên bản của TensorRT
