LLama3 ra mắt với nhiều hứa hẹn về tính năng nổi trội hơn so với bản cũ và so với đối thủ. Nhưng thực tế có tốt hơn hay không thì phải tự trải nghiệm, tốt hơn chính nó là có thể, còn tốt hơn ChatGPT hay không thì mời các bạn trải nghiệm.
Để trải nghiệm nhanh, các bạn có thể sử dụng Ollama để chat ngay trên PC của mình. Bài viết này sử dụng Windows để test nhanh.
Cấu hình máy tính đang sử dụng
- Windows 10 build 2004
- CPU: Ryzen 5 2600, 6 core 12 thread
- RAM: 16GB
- GPU: RTX 2060 6GB VRAM
- CUDA 11.3
Download Ollama
Download tại link: https://ollama.com/download/windows
Sau khi download về cài đặt, Ollama sẽ download model về máy bạn ở folder: C:\Users\yourname\.ollama\models. Model mặc định là 8B (billion) dung lượng 4.7GB.
Vào CMD gõ:
ollama run llama3
ollama_llama_server.exe sẽ chạy, bạn sẽ chat với LLama3 qua giao diện console.
Bạn có thể trải nghiệm các model lớn hơn, tùy theo khả năng của máy tính bạn:
Trải nghiệm LLama3 với 1 số câu hỏi thường gặp
Đầu tiên là hỏi cấu hình máy tính tối thiểu để chạy LLama, câu trả lời khá tốt khi liệt kê được CPU, RAM tối thiểu để chạy cloud base hoặc locally. Với cấu hình cần RAM 8GB thì LLama3 cũng không đòi hỏi quá nhiều, hầu như máy tính thông thường hiện nay đều là RAM 8GB.
Tiếp theo là hỏi sự khác biệt của model 8B và 70B, câu trả lời cũng khá tốt và đúng ý mình. Mình thích tìm hiểu khả năng ứng dụng và sinh lời của công nghệ hơn là đi sâu vào kỹ thuật.
Hỏi về khả năng chạy offline của LLama3
Sau đó mình hỏi lại lần nữa câu hỏi bạn có thể chạy offline không thì nó trả lời đại ý là: ê câu này mày hỏi rồi nghe mậy
Sau đó nhờ LLama3 dịch câu tiếng Anh sang tiếng Việt, nó dịch khá tốt và kèm theo giải thích, rất phù hợp cho người học tiếng Anh
Rồi nhờ nó sửa lỗi tiếng Anh, thử với câu dễ thôi
Nhưng đặc biệt là LLama3 khá là xéo sắc, bạn có thể xem đoạn chat bên dưới. Có vẻ như nó không thích chat bằng tiếng Việt cho lắm, nó thích chat bằng sở trường của nó hơn
Tiếp theo là test thử khả năng truy cập internet, LLama3 có thể đọc link giới thiệu sản phẩm VietANPR và lấy kết quả. Kết quả đọc được chính xác là phần mềm nhận diện biển số xe.
Tổng kết
- Ollama dễ chạy, dễ sử dụng, ổn định
- Không đòi hỏi phần cứng quá mạnh
- Có thể chạy offline
- Hỗ trợ tiếng Việt
- Có thể truy cập được website và lấy nội dung
- Không đọc trực tiếp file docx, pdf,… Bạn cần chuyển sang text và paste vào để LLama3 xử lý