Phát hiện khuôn mặt ngước lên - cúi xuống bằng mediapipe

Bài này tương tự bài Phát hiện cử động khuôn mặt bằng Facemesh. Có đôi chút khác ở công thức tính nên tách riêng ra 1 bài để giải thích.

Bước 1: tìm landmark

Tìm 468 điểm trên khuôn mặt, các điểm này có tọa độ xyz trong không gian 3 chiều

import mediapipe as mp
import math

face_mesh = mp.solutions.face_mesh.FaceMesh(
    static_image_mode=True,
    max_num_faces=1,
    #refine_landmarks=True,
    min_detection_confidence=0.5)

results = face_mesh.process(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
if results.multi_face_landmarks:
    landmarks = results.multi_face_landmarks[0]
    landmark = landmarks.landmark

import mediapipe as mp

import math

face_mesh = mp.solutions.face_mesh.FaceMesh(

static_image_mode=True,

max_num_faces=1,

#refine_landmarks=True,

min_detection_confidence=0.5)

results = face_mesh.process(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))

if results.multi_face_landmarks:

landmarks = results.multi_face_landmarks[0]

landmark = landmarks.landmark

Bước 2: tìm giá trị z1, z2 và height để tính kết quả

Ta cần tìm z1 và z2 theo công thức hình bên dưới do khuôn mặt có thể xa – gần camera. z1 và z2 là khoảng cách near-far với camera, được tính bằng hàm CalcNearFar() ở source code cuối bài.

Còn h là khoảng cách giữa 2 điểm nên tính bằng khoảng cách Euclid bằng hàm CalcDistance().

Khuôn mặt phải ngước lên – cúi xuống quá 1 ngưỡng thì mới tính, hiện tại là 0.4. Tùy bài toán/yêu cầu mà điều chỉnh cho phù hợp.

Hình ảnh dùng để test:

Full source code

import math
import time
import cv2
import mediapipe as mp

class AngleDetector():
    face_mesh = mp.solutions.face_mesh.FaceMesh(
        static_image_mode=True,
        max_num_faces=1,
        #refine_landmarks=True,
        min_detection_confidence=0.5)

    ####################################################################################################

    def ConvertToPoint(self, landmark):
        return [landmark.x, landmark.y, landmark.z]

    ####################################################################################################

    def CalcDistance(self, point1, point2):
        x1, y1, z1 = self.ConvertToPoint(point1)
        x2, y2, z2 = self.ConvertToPoint(point2)
        distance = math.sqrt((x1 - x2)**2 + (y1 - y2)**2)
        return distance

    ####################################################################################################

    def CalcNearFar(self, point1, point2):
        x1, y1, z1 = self.ConvertToPoint(point1)
        x2, y2, z2 = self.ConvertToPoint(point2)
        distance = z1 - z2
        return distance

    ####################################################################################################

    def Detect(self, frame):
        results = self.face_mesh.process(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
        if not results.multi_face_landmarks:
            return "no face", 1

        landmarks = results.multi_face_landmarks[0]
        landmark = landmarks.landmark

        ratio = 1

        up = self.CalcNearFar(landmark[5], landmark[10])
        down = self.CalcNearFar(landmark[5], landmark[152])
        faceHeight = self.CalcDistance(landmark[10], landmark[152])
        ratio = (abs(up) + abs(down)) / faceHeight

        result = "center"
        if(up < down):
            if(abs(ratio) > 0.4):
                ratio = abs(ratio) #to easy to view
                result = "up"            
        elif(down < up):
            if(abs(ratio) > 0.4):
                result = "down"
        return result, ratio


angleDetector = AngleDetector()
frame = cv2.imread("2023-01-23_08-20-28_M0yg3XqbPa.jpg")
print(angleDetector.Detect(frame))

import math

import time

import cv2

import mediapipe as mp

class AngleDetector():

face_mesh = mp.solutions.face_mesh.FaceMesh(

static_image_mode=True,

max_num_faces=1,

#refine_landmarks=True,

min_detection_confidence=0.5)

####################################################################################################

def ConvertToPoint(self, landmark):

return [landmark.x, landmark.y, landmark.z]

####################################################################################################

def CalcDistance(self, point1, point2):

x1, y1, z1 = self.ConvertToPoint(point1)

x2, y2, z2 = self.ConvertToPoint(point2)

distance = math.sqrt((x1 - x2)**2 + (y1 - y2)**2)

return distance

####################################################################################################

def CalcNearFar(self, point1, point2):

x1, y1, z1 = self.ConvertToPoint(point1)

x2, y2, z2 = self.ConvertToPoint(point2)

distance = z1 - z2

return distance

####################################################################################################

def Detect(self, frame):

results = self.face_mesh.process(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))

if not results.multi_face_landmarks:

return "no face", 1

landmarks = results.multi_face_landmarks[0]

landmark = landmarks.landmark

ratio = 1

up = self.CalcNearFar(landmark[5], landmark[10])

down = self.CalcNearFar(landmark[5], landmark[152])

faceHeight = self.CalcDistance(landmark[10], landmark[152])

ratio = (abs(up) + abs(down)) / faceHeight

result = "center"

if(up < down):

if(abs(ratio) > 0.4):

ratio = abs(ratio) #to easy to view

result = "up"

elif(down < up):

if(abs(ratio) > 0.4):

result = "down"

return result, ratio

angleDetector = AngleDetector()

frame = cv2.imread("2023-01-23_08-20-28_M0yg3XqbPa.jpg")

print(angleDetector.Detect(frame))