1

現在単視点RGB画像から手の姿勢推定を行いたくて、機械学習でやろうと思っています。
関節の位置をラベルとしてつけるイメージです。
このラベルなのですが、配列は学習データとして取り入れられるのでしょうか?
出力は推定される関節の位置で、これを手モデルに合成できればいいかなと思います。

機械学習の経験が浅く、どう学習データを作るのかがわかりません。ご教授頂けると幸いです。


追記 (具体的な方法): ボールを握っているような状況の手を、その中心(この場合は透明なボールの中心)から写します。モーションキャプチャーで撮影し‌​たものを用いるので、関節や手の甲の3次元‌​位置はわかっています。これを学習データの‌​ラベルとして、CNNなどの既存のネットワ‌​ークにかけられれば良いかなと思っています‌​。入力は画像のみ、出力は推定される関節や‌​手の甲の3次元位置をまとめた配列で出す、‌​のが具体的な手法のイメージです。クラスに‌​分類、というのは調べると見かけますが、回‌​帰的なものの参考資料はなかなかないですね‌​..。

16
  • 「機械学習」にも色々あります。まず、具体的にどういう手法で行おうとしていますか?
    – nekketsuuu
    Commented 2017年11月30日 11:33
  • ボールを握っているような状況の手を、その中心(この場合は透明なボールの中心)から写します。モーションキャプチャーで撮影したものを用いるので、関節や手の甲の3次元位置はわかっています。これを学習データのラベルとして、CNNなどの既存のネットワークにかけられれば良いかなと思っています。入力は画像のみ、出力は推定される関節や手の甲の3次元位置をまとめた配列で出す、のが具体的な手法のイメージです。クラスに分類、というのは調べると見かけますが、回帰的なものの参考資料はなかなかないですね..。
    – Theodore
    Commented 2017年11月30日 12:02
  • とすると成果物の大体のイメージは OpenPose の「手」のみバージョンで、3D pose estimation までできると良い、みたいな感じでしょうか?
    – nekketsuuu
    Commented 2017年11月30日 12:43
  • 参考: Christian Zimmermann & Thomas Brox. "Learning to Estimate 3D Hand Pose from Single RGB Images" (ICCV 2017) lmb.informatik.uni-freiburg.de/projects/hand3d
    – nekketsuuu
    Commented 2017年11月30日 12:48
  • 参考: Awesome Works on Hand Pose Estimation
    – nekketsuuu
    Commented 2017年11月30日 12:49

1 件の回答 1

1

「ラベル」という言葉の使い方が妙な気もしますが、結論から言うと可能です。

具体的な手法は、たとえば ICCV 2017 に出された Christian Zimmermann & Thomas Brox. "Learning to Estimate 3D Hand Pose from Single RGB Images" が参考になると思います。

手の姿勢推定という研究は色々と行われているので、他の研究をまとめたサイトも存在しています。
https://github.com/xinghaochen/awesome-hand-pose-estimation

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。