MediaPipe Poseによる動画ファイルを入力とした骨格推定を行っています。
OS: Windows10
mediapipeバージョン: 0.10.0
言語: Python
レガシーソリューションmediapipe.solutions.pose.Pose()
と新しいAPImediapipe.tasks.vision.PoseLandmarker()
における出力結果の比較を行うと、後者の方が取得した座標が変化がフレーム間で大きくなってしまい、ランドマークを描画した際に違和感を生じます。
■質問内容
mediapipe.solutions.pose.Pose()とmediapipe.tasks.vision.PoseLandmarker()で推論精度が異なる理由を知りたいです。
動画ファイルを入力とした推論を行う際に、新しいAPIを用いてより良い結果(レガシーソリューションと同等かそれ以上)を得る手段はあるでしょうか?
※下記URLでも同様の内容を質問しています。
https://teratail.com/questions/m71kzuave9qv26
https://github.com/google/mediapipe/issues/5155
以下は問題を再現するためのコードです。legacy_solution()とnew_api()をそれぞれ実行して結果の比較を行いました。
def draw(img, landmarks):
h,w,_ = img.shape
for ldm in landmarks:
x = int(ldm.x * w)
y = int(ldm.y * h)
cv2.circle(img, (x,y), 3, (255,0,0), thickness=-1)
return img
# Load the input video.
video_file = "path_to_video_file"
cap = cv2.VideoCapture(video_file)
def legacy_solution():
mp_pose = mp.solutions.pose
with mp_pose.Pose(min_detection_confidence=0.5,
min_tracking_confidence=0.5,
static_image_mode = False,
model_complexity=1) as pose:
while True:
ret, frame = cap.read()
if not ret:
break
image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
image.flags.writeable = False
results = pose.process(image)
image.flags.writeable = True
image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
image = draw(image, results.pose_landmarks.landmark)
cv2.imshow("image", image)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
def new_api():
# Create an PoseLandmarker object.
base_options = python.BaseOptions(
model_asset_path='pose_landmarker_full.task')
PoseLandmarker = mp.tasks.vision.PoseLandmarker
VisionRunningMode = mp.tasks.vision.RunningMode
options = vision.PoseLandmarkerOptions(
base_options=base_options,
output_segmentation_masks=False,
running_mode=VisionRunningMode.VIDEO)
with PoseLandmarker.create_from_options(options) as detector:
while True:
ret, img = cap.read()
timestamp = int(cap.get(cv2.CAP_PROP_POS_MSEC))
if not ret:
break
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB,
data=img)
detection_result = detector.detect_for_video(mp_image, timestamp)
annotated_image = draw(mp_image.numpy_view(),
detection_result.pose_landmarks[0])
cv2.imshow("image", annotated_image)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()