Phở GPT (PhoGPT) là mô hình tạo sinh ngôn ngữ tự nhiên phát triển từ Llama. Bài viết bài hướng dẫn cài đặt và sử dụng PhoGPT trên PC Windows 10. Lưu ý: PhoGPT yêu cầu 10GB VRAM.
Vì Llama không hỗ trợ tiếng Việt nên PhoGPT ra đời lập tức được đón nhận nồng nhiệt vì xử lý tiếng Việt rất tốt. Hơn nữa còn có thể chạy trên máy tính cấu hình trung bình yếu (với góc nhìn cá nhân thì GPU 12GB VRAM là trung bình yếu).
Bài viết này đang sử dụng phần cứng như sau:
- CPU: Intel Core i5-4590 3.3GHz
- RAM: 16GB
- GPU: NVIDIA RTX 3060 12GB
- Windows 10 x64 version 2004
Bước 1: cài đặt các phần mềm cần thiết
- Python 3.7.3 amd64: cài đặt xong restart PC
- Visual Studio Code
- Cài đặt extension Jupyter notebook cho Visual Studio Code
Bước 2: cài đặt CUDA 11.3 và cuDNN
Download CUDA 11.3: cuda_11.3.0_465.89_win10.exe (2.7GB). Lưu ý phải đăng ký tài khoản NVIDIA developer.
Cài đặt xong restart PC.
Download cuDNN 8.2.1: https://developer.nvidia.com/rdp/cudnn-archive
Chọn file cuDNN Library for Windows (x86) như hình dưới
Donwload xong giải nén file cudnn-11.3-windows-x64-v8.2.1.32.zip, sau đó copy các folder con vào thư mục C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin như hình dưới
Copy xong restart PC. Ghi chú: chỗ nào ghi restart PC thì cứ chịu khó restart, 1 phút là xong.
Bước 3: cài đặt Pytorch và Transformers
Cài đặt Pytorch CUDA
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
Kiểm tra pytorch cài đúng chưa
|
1 2 |
import torch torch.cuda.is_available() |
In ra True là được
Cài đặt package Transformers
pip install transformers
Bước 4: clone repository
https://github.com/thigiacmaytinh/PhoGPT
Chạy Visual Studio Code mở file phogpt-4B.ipynb lên rồi chạy là được
Lần đầu tiên chạy sẽ download model PhoGPT-4B-Chat vào folder C:\Users\username\.cache\huggingface\hub\models–vinai–PhoGPT-4B-Chat, file model nặng 7GB.
Theo hướng dẫn sử dụng bạn có thể đặt 1 số câu hỏi như:
# instruction = “Viết bài văn nghị luận xã hội về {topic}”
# instruction = “Viết bản mô tả công việc cho vị trí {job_title}”
# instruction = “Sửa lỗi chính tả:\n{sentence_or_paragraph}”
# instruction = “Dựa vào văn bản sau đây:\n{text}\nHãy trả lời câu hỏi: {question}”
# instruction = “Tóm tắt văn bản:\n{text}”
Câu hỏi thường gặp
Vì sao repository Github của PhoGPT không thấy file model?
Vì Github giới hạn kích cỡ file size là 100MB, nhiều hơn thì trả tiền, mà model nặng quá (7GB) nên host tại https://huggingface.co/vinai/PhoGPT-4B-Chat/tree/main
Chạy PhoGPT trên laptop được không?
PhoGPT yêu cầu 10GB VRAM để chạy, nên bạn sử dụng desktop cho dễ.
Chạy PhoGPT bằng C++ được không?
Được, chạy bằng llama.cpp. Mình sẽ viết ở 1 bài khác.