1

やりたいこと

・机の上にマグカップ、時計、携帯電話が置いてある場合にHololens2からみて、時計にのみバウンディングボックスをつける
・バウンディングボックスはリアルタイムに投影させ、かつ時計の大きさによってサイズが変わる
・さらには机の上に置いた時計を腕に装着してもバウンディングボックスが追従していく

問題点

・Hololensの機能である空間認識(Spatial Awareness)を用いて、"机"や"床"を認識させることはできましたが
 机の上に置いてある"なにか"(例えば時計)といった細かいモノの認識は難しいと考えいます。
・実験的にHeadからRayを飛ばして、空間認識レイヤーとの衝突判定を用いてオブジェクトを形を推論しようとしていますが、
 空間認識のメッシュが荒く(高メッシュにしても同様)物体をすり抜けたり、ズレたりしてしまいます。

細かい認識が可能となれば、その対象にバウンディングボックスをつけることができると想定していますので、
改善策や打開策など、ご存じでしょうか。また、参考となるサンプルソース等がありましたらご教示頂けると助かります。

Device: Hololens2
開発環境: Unity

1 件の回答 1

0

空間メッシュ情報から物体認識させようとしているのでしょうか?

現状細かい物体認識であれば RGB カメラの画像情報から物体認識させるほうが現実的な精度を出せそうな気がします……。

たとえばこちらの記事にサンプルコードが載っています: Labeling Toy Aircraft in 3D space using an ONNX model and Windows ML on a HoloLens

4
  • コメント有難うございます。 また、言葉足らずな点がありましたので、補足させていただきます。 ご教示頂いたサンプルソースにあるように物体の検知自体はCustomVisionなどで行うことはその通りだと思いますが、問題としているのは、3D座標(奥行)の検知となります。 物体の方向にRayを飛ばし、SpatialMappingレイヤーに衝突させるのであれば、結果的に空間メッシュの精度だと想定しておりますが、認識間違っていますでしょうか。
    – user40586
    2020年6月11日 9:27
  • よく分かっていませんが、バウンディングボックスはスクリーン座標に出すのでは無いですか? 画像から物体認識を行った時点でスクリーン座標におけるバウンディングボックスの頂点座標は分かるので、奥行を検知する必要性がいまいち理解できていません。
    – nekketsuuu
    2020年6月11日 16:38
  • 返信が遅くなり申し訳ありません。バウンディングボックスはスクリーン座標ではなく、ワールド座標に表示したいです。(言い方が間違っているかもしれませんが、3D空間上にバウンディングボックスを配置したいということです)そのため、奥行を検知する必要があると想定しておりますが、認識違いますでしょうか。
    – user40586
    2020年6月15日 6:11
  • なるほど、3次元的な認識をしたいということですね。であれば確かにリンクした記事の内容では不十分ですね。
    – nekketsuuu
    2020年6月15日 8:16

この質問に回答するには、ログインする必要があります。