Mediapipe là thư viện phát hiện cử chỉ hình thể rất chính xác và nhẹ. Bài viết này giới thiệu khả năng và một số ứng dụng của mediapipe.
Mediapipe là thư viện mã nguồn mở do Google phát triển được cung cấp tại link: https://github.com/google/mediapipe
Điểm thú vị là mediapipe cung cấp rất nhiều video kết quả trực quan & cho trải nghiệm trực tiếp không cần cài đặt.
Cài đặt mediapipe cho ngôn ngữ Python
Đây là cách dễ nhất với prebuilt package:
pip install mediapipe
Lưu ý cần cài thêm opencv-python, trong quá trình cài đặt sẽ cài thêm các thư viện khác như numpy. Dưới đây là danh sách các thư viện dùng chung với nhau ổn định nhất.
mediapipe==0.8.10.1
opencv-python==4.4.0.44
numpy==1.21.6
Các ứng dụng của mediapipe
- Phát hiện khuôn mặt
- Tìm lưới khuôn mặt: dùng cho các ứng dụng biến đổi khuôn mặt như Tiktok
- Iris: tìm khoảng cách từ đồng tử của mắt đến camera mà không cần Depth webcam
- Detect cử chỉ bàn tay
- Tìm hình dáng của cơ thể
- Thay đổi màu tóc: có thể hair salon sẽ cần
- Object detection & Box tracking: tìm vật thể, quá quen thuộc rồi
- Theo dõi chuyển động của vật thể
- Objectron: tìm hình lập phương chứa vật thể
- KNIFT: Tìm vật thể bằng các đặc trưng đã biết
Trải nghiệm mediapipe bằng Google Colab
Như đã nói ở trên, các bạn có thể trải nghiệm mediapipe bằng Google Colab mà không cần cài đặt. VD như tìm facemesh
Phát hiện khung bàn tay
Phát hiện Phật tử chắp tay cầu nguyện để play video tương ứng
Các bạn có thể trải nghiệm bằng các link khác do Goodgle cung cấp
https://google.github.io/mediapipe/getting_started/python.html#mediapipe-on-google-colab
Tổng kết
Mediapipe là thư viện khá chính xác & nhẹ, tuy nhiên nó chỉ hỗ trợ các phần cứng & OS thông dụng. Tốt nhất là các bạn nên sử dụng Windows 10 và Ubuntu 18.04 trở lên để tránh các lỗi.
Bài tiếp theo sẽ là hướng dẫn build & giải thích source code mediapipe.