1

現在、画像処理の分野で研究をしてるのですが、「Learning correspondence from the cycle consistency of time」という論文でわからないことがあったため質問させてもらいます。
https://arxiv.org/abs/1903.07593

この論文は動画像中の物体を教師なし学習で追跡するような機構で、時刻t→t-1への物体追跡では、時刻t-1の画像と時刻tの画像中から切り出されたパッチが入力となり、出力には時刻tのパッチが時刻がt-1の画像上のどこともっとも対応してるかを出力します。
その際、画像中のどこと対応しているかを画像中心を座標中心とし、[-1,1]に正規化された空間でのアフィン変換によって表されます(具体的には回転、並進)
https://i.sstatic.net/rhNVe.png

ここで質問なのですが、論文ではこのアフィン変換のパラメータを特徴マップ空間での対応としているのですが(p4のFigure4の最後から2行目の文)、実際のコードではそのまま画像空間にアフィン変換のパラメータを適用しています。

これは特徴マップ空間での回転、並進(もっとも似ている場所はどこかのマッチング)といった幾何変換が画像空間での幾何変換と同じものを表してると暗に示していると思いますが、そうなのでしょうか?

参考となる論文は
「spatial transformer networks」
https://arxiv.org/abs/1506.02025

「Convolutional neural network architecture for geometric matching」
https://arxiv.org/abs/1703.05593
の二つです。

1

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。