0

MediaPipe Poseによる動画ファイルを入力とした骨格推定を行っています。

OS: Windows10
mediapipeバージョン: 0.10.0
言語: Python

レガシーソリューションmediapipe.solutions.pose.Pose()と新しいAPImediapipe.tasks.vision.PoseLandmarker()における出力結果の比較を行うと、後者の方が取得した座標が変化がフレーム間で大きくなってしまい、ランドマークを描画した際に違和感を生じます。

■質問内容
mediapipe.solutions.pose.Pose()とmediapipe.tasks.vision.PoseLandmarker()で推論精度が異なる理由を知りたいです。
動画ファイルを入力とした推論を行う際に、新しいAPIを用いてより良い結果(レガシーソリューションと同等かそれ以上)を得る手段はあるでしょうか?

※下記URLでも同様の内容を質問しています。
https://teratail.com/questions/m71kzuave9qv26
https://github.com/google/mediapipe/issues/5155

以下は問題を再現するためのコードです。legacy_solution()とnew_api()をそれぞれ実行して結果の比較を行いました。

def draw(img, landmarks):
    h,w,_ = img.shape
    for ldm in landmarks:
        x = int(ldm.x * w)
        y = int(ldm.y * h)
        cv2.circle(img, (x,y), 3, (255,0,0), thickness=-1)
    return img

# Load the input video.
video_file = "path_to_video_file"
cap = cv2.VideoCapture(video_file)

def legacy_solution():
    mp_pose = mp.solutions.pose
    with mp_pose.Pose(min_detection_confidence=0.5,
                      min_tracking_confidence=0.5,
                      static_image_mode = False,
                      model_complexity=1) as pose:
        while True:
            ret, frame = cap.read()
            if not ret:
                break
            image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
            image.flags.writeable = False
            results = pose.process(image)
            image.flags.writeable = True
            image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
            image = draw(image, results.pose_landmarks.landmark) 
            cv2.imshow("image", image)
            
            if cv2.waitKey(1) & 0xFF == ord('q'):
                break
    cap.release()
    cv2.destroyAllWindows()      

def new_api():
    # Create an PoseLandmarker object.
    base_options = python.BaseOptions(
        model_asset_path='pose_landmarker_full.task')
    PoseLandmarker = mp.tasks.vision.PoseLandmarker
    VisionRunningMode = mp.tasks.vision.RunningMode
    options = vision.PoseLandmarkerOptions(
        base_options=base_options,
        output_segmentation_masks=False,
        running_mode=VisionRunningMode.VIDEO)
    
    
    with PoseLandmarker.create_from_options(options) as detector: 
        while True:
            ret, img = cap.read()
            timestamp = int(cap.get(cv2.CAP_PROP_POS_MSEC))
            if not ret:
                break
            mp_image = mp.Image(image_format=mp.ImageFormat.SRGB,
                                data=img)
            detection_result = detector.detect_for_video(mp_image, timestamp)
            annotated_image = draw(mp_image.numpy_view(),
                                    detection_result.pose_landmarks[0])
            cv2.imshow("image", annotated_image)
            
            if cv2.waitKey(1) & 0xFF == ord('q'):
                break
    cap.release()
    cv2.destroyAllWindows()
0

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。