UnityでMetaQuest用のVRアプリケーションの開発をしています.本アプリケーションはコントローラーを使用するものとし,仮想空間上ではハンドが表示されるものとします.

### 実現したいこと

仮想空間の一部を映したRenderTextureを貼り付けたオブジェクト(以降,パネルと略す)の,ハンドでタッチした場所に対応する仮想空間にRayを飛ばし、正確に対象にヒットさせたい。デバッグとして,ヒットした位置にスケール(0.1,0.1,0.1)のキューブが0.1秒間表示されるようにしています.実際はヒットした位置に存在するキューブのパーティクルシステムが発動させる予定です.

また,RenderTextureが映すカメラは他プレイヤーに取り付けられているものであり,常に動いているものとします.

### 現状

大幅にずれた場所にデバッグ用のキューブが生成される

### 参考にした記事

- [How do you get the texture coordinate hit by the mouse on a UI raw image in Unity?](https://gamedev.stackexchange.com/questions/198782/how-do-you-get-the-texture-coordinate-hit-by-the-mouse-on-a-ui-raw-image-in-unit%20var%20rect%20=%20displayGameObject.rectTransform.rect;)
- [RenderTextureを介して触れたオブジェクトにエフェクトを表示する方法](https://ja.stackoverflow.com/questions/99121/rendertexture%E3%82%92%E4%BB%8B%E3%81%97%E3%81%A6%E8%A7%A6%E3%82%8C%E3%81%9F%E3%82%AA%E3%83%96%E3%82%B8%E3%82%A7%E3%82%AF%E3%83%88%E3%81%AB%E3%82%A8%E3%83%95%E3%82%A7%E3%82%AF%E3%83%88%E3%82%92%E8%A1%A8%E7%A4%BA%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95)

2個目に関しては以前質問させていただいたものになります.こちらの方法は確かにタッチしたらキューブは生成されましたが,Rayが飛ぶ座標が大幅にずれてしまう問題がございます.

### コード

本コードはパネルに設定しています.
```
using UnityEngine;
using Photon.Pun;
using UnityEngine.UI;
public class PanelManager : MonoBehaviourPun
{
    public Camera displayRenderCamera; // RenderTextureに画像を書き込んでいるカメラ
    private GameObject displayGameObject; // RenderTextureを表示しているGameObject
    private Vector3? colliderPoint = null;

    void Start()
    {
        InitializeCameraAndPanel();
    }

    void Update()
    {
        bool gripHeld = OVRInput.Get(OVRInput.Button.PrimaryHandTrigger, OVRInput.Controller.RTouch);
        bool triggerNotPressed = !OVRInput.Get(OVRInput.Button.PrimaryIndexTrigger, OVRInput.Controller.RTouch);

        if (gripHeld && triggerNotPressed)
        {
            InteractWithRenderTexture();
        }
        InitializeCameraAndPanel();
    }

    private void InteractWithRenderTexture() // メイン処理
    {
        if (!colliderPoint.HasValue) return; // パネルに触れていない場合は処理を終了

        Vector3 localHitPoint = displayGameObject.GetComponent<RectTransform>().InverseTransformPoint(colliderPoint.Value); // パネル上の座標を取得
        var displayGameObjectSize = displayGameObject.transform.localScale; // パネルの大きさを取得 正しい値でした

        // Viewportを計算
        var viewportPoint = new Vector3()
        {
            x = (localHitPoint.x + (displayGameObjectSize.x / 2)) / displayGameObjectSize.x,
            y = (localHitPoint.y + (displayGameObjectSize.y / 2)) / displayGameObjectSize.y,
        };

        // カメラを基準にViewportからのレイを生成
        Ray ray = displayRenderCamera.ViewportPointToRay(viewportPoint);
        RaycastHit hit;

        // hitした場所の座標を取得 ※デバッグ用  
        Vector3 point = ray.GetPoint(2.0f);
        GameObject Cube = GameObject.CreatePrimitive(PrimitiveType.Cube);
        Cube.transform.position = point;
        Cube.transform.localScale = new Vector3(0.1f, 0.1f, 0.1f);
        Cube.GetComponent<Renderer>().material.color = Color.red;
        Destroy(Cube, 0.2f);

        if (Physics.Raycast(ray, out hit, 10.0f))
        {
            // 検出した物体のパーティクルシステムを発火
            var cubeManager = hit.transform.GetComponent<CubeManager>();
            if (cubeManager != null)
            {
                cubeManager.StartParticleSystem();
            }
        }
    }


    private void InitializeCameraAndPanel()
    {
        PhotonView[] allPhotonViews = FindObjectsOfType<PhotonView>();

        foreach (PhotonView view in allPhotonViews)
        {
            if (view.Owner != null)
            {
                if (view.Owner.ActorNumber != PhotonNetwork.LocalPlayer.ActorNumber)
                {
                    // 他のプレイヤーのカメラを見つける
                    GameObject camera = view.gameObject.transform.Find("Head/ViewCamera")?.gameObject;
                    if (camera != null)
                    {
                        displayRenderCamera = camera.GetComponent<Camera>();
                        Debug.Log(displayRenderCamera);
                    }
                }
                else if (view.Owner.ActorNumber == PhotonNetwork.LocalPlayer.ActorNumber)
                {
                    GameObject panel = view.gameObject.transform.Find("Panel/Panel")?.gameObject;
                    if (panel != null)
                    {
                        displayGameObject = panel;
                    }
                    else
                    {
                        Debug.LogWarning("Panel/Panel not found on my object");
                    }
                }
            }
        }
    }

    void OnTriggerEnter(Collider other)
    {
        if (other.CompareTag("rightHand"))
        {
            var plane = new Plane(transform.forward, transform.position);
            colliderPoint = plane.ClosestPointOnPlane(other.transform.position);
        }
    }
    void OnTriggerExit(Collider other)
    {
        if (other.gameObject.tag == "rightHand")
        {
            colliderPoint = null;
        }
    }
}

```
コードの修正案などがありましたら,ご教授していただきたいです.
よろしくお願いします.

### 追記

以下の変換が影響を与えている可能性があります.
```
displayGameObject.rectTransform.InverseTransformPoint(worldSpaceHitPoint);
```

### 本プロジェクトの再現方法

本プロジェクトはPUN2を用いたVRマルチプレイヤーです。ゆえに、VR空間でプレイヤー同士が共存できる環境を作成します。私はこの動画(https://www.youtube.com/watch?v=KHWuTBmT1oI&t=1s)を参考に作成しました。

ここで、PUN2ではAsset/Resources配下にNetworkPlayerのプレハブを格納します。NetworkPlayerプレハブのヒエラルキーが画像の通りです。

[![NetworkPlayerヒエラルキー][1]][1]

Panelは左手の動きに合わせて動き、ボタンの操作でその場に留まらせることが可能です。Head配下のViewPanelは、相手プレイヤーのPanelに貼り付けたRenderTextureに自身の視界を描画するために配置してあります。Panelのインスペクターは画像の通りです。PanelManagerは上記のものとなります。

[![Panelのインスペクター][2]][2]

以上が本プロジェクトを再現するための手順です。


  [1]: https://i.sstatic.net/bZnHD7gU.png
  [2]: https://i.sstatic.net/b3pIREUr.png