0

UnityでMetaQuest用のVRアプリケーションの開発をしています.本アプリケーションはコントローラーを使用するものとし,仮想空間上ではハンドが表示されるものとします.

実現したいこと

仮想空間の一部を映したRenderTextureを貼り付けたオブジェクト(以降,パネルと略す)の,ハンドでタッチした場所に対応する仮想空間にRayを飛ばし、正確に対象にヒットさせたい。デバッグとして,ヒットした位置にスケール(0.1,0.1,0.1)のキューブが0.1秒間表示されるようにしています.実際はヒットした位置に存在するキューブのパーティクルシステムが発動させる予定です.

また,RenderTextureが映すカメラは他プレイヤーに取り付けられているものであり,常に動いているものとします.

現状

大幅にずれた場所にデバッグ用のキューブが生成される

参考にした記事

2個目に関しては以前質問させていただいたものになります.こちらの方法は確かにタッチしたらキューブは生成されましたが,Rayが飛ぶ座標が大幅にずれてしまう問題がございます.

コード

本コードはパネルに設定しています.

using UnityEngine;
using Photon.Pun;
using UnityEngine.UI;
public class PanelManager : MonoBehaviourPun
{
    public Camera displayRenderCamera; // RenderTextureに画像を書き込んでいるカメラ
    private GameObject displayGameObject; // RenderTextureを表示しているGameObject
    private Vector3? colliderPoint = null;

    void Start()
    {
        InitializeCameraAndPanel();
    }

    void Update()
    {
        bool gripHeld = OVRInput.Get(OVRInput.Button.PrimaryHandTrigger, OVRInput.Controller.RTouch);
        bool triggerNotPressed = !OVRInput.Get(OVRInput.Button.PrimaryIndexTrigger, OVRInput.Controller.RTouch);

        if (gripHeld && triggerNotPressed)
        {
            InteractWithRenderTexture();
        }
        InitializeCameraAndPanel();
    }

    private void InteractWithRenderTexture() // メイン処理
    {
        if (!colliderPoint.HasValue) return; // パネルに触れていない場合は処理を終了

        Vector3 localHitPoint = displayGameObject.GetComponent<RectTransform>().InverseTransformPoint(colliderPoint.Value); // パネル上の座標を取得
        var displayGameObjectSize = displayGameObject.transform.localScale; // パネルの大きさを取得 正しい値でした

        // Viewportを計算
        var viewportPoint = new Vector3()
        {
            x = (localHitPoint.x + (displayGameObjectSize.x / 2)) / displayGameObjectSize.x,
            y = (localHitPoint.y + (displayGameObjectSize.y / 2)) / displayGameObjectSize.y,
        };

        // カメラを基準にViewportからのレイを生成
        Ray ray = displayRenderCamera.ViewportPointToRay(viewportPoint);
        RaycastHit hit;

        // hitした場所の座標を取得 ※デバッグ用  
        Vector3 point = ray.GetPoint(2.0f);
        GameObject Cube = GameObject.CreatePrimitive(PrimitiveType.Cube);
        Cube.transform.position = point;
        Cube.transform.localScale = new Vector3(0.1f, 0.1f, 0.1f);
        Cube.GetComponent<Renderer>().material.color = Color.red;
        Destroy(Cube, 0.2f);

        if (Physics.Raycast(ray, out hit, 10.0f))
        {
            // 検出した物体のパーティクルシステムを発火
            var cubeManager = hit.transform.GetComponent<CubeManager>();
            if (cubeManager != null)
            {
                cubeManager.StartParticleSystem();
            }
        }
    }


    private void InitializeCameraAndPanel()
    {
        PhotonView[] allPhotonViews = FindObjectsOfType<PhotonView>();

        foreach (PhotonView view in allPhotonViews)
        {
            if (view.Owner != null)
            {
                if (view.Owner.ActorNumber != PhotonNetwork.LocalPlayer.ActorNumber)
                {
                    // 他のプレイヤーのカメラを見つける
                    GameObject camera = view.gameObject.transform.Find("Head/ViewCamera")?.gameObject;
                    if (camera != null)
                    {
                        displayRenderCamera = camera.GetComponent<Camera>();
                        Debug.Log(displayRenderCamera);
                    }
                }
                else if (view.Owner.ActorNumber == PhotonNetwork.LocalPlayer.ActorNumber)
                {
                    GameObject panel = view.gameObject.transform.Find("Panel/Panel")?.gameObject;
                    if (panel != null)
                    {
                        displayGameObject = panel;
                    }
                    else
                    {
                        Debug.LogWarning("Panel/Panel not found on my object");
                    }
                }
            }
        }
    }

    void OnTriggerEnter(Collider other)
    {
        if (other.CompareTag("rightHand"))
        {
            var plane = new Plane(transform.forward, transform.position);
            colliderPoint = plane.ClosestPointOnPlane(other.transform.position);
        }
    }
    void OnTriggerExit(Collider other)
    {
        if (other.gameObject.tag == "rightHand")
        {
            colliderPoint = null;
        }
    }
}

コードの修正案などがありましたら,ご教授していただきたいです.
よろしくお願いします.

追記

以下の変換が影響を与えている可能性があります.

displayGameObject.rectTransform.InverseTransformPoint(worldSpaceHitPoint);

本プロジェクトの再現方法

本プロジェクトはPUN2を用いたVRマルチプレイヤーです。ゆえに、VR空間でプレイヤー同士が共存できる環境を作成します。私はこの動画(https://www.youtube.com/watch?v=KHWuTBmT1oI&t=1s)を参考に作成しました。

ここで、PUN2ではAsset/Resources配下にNetworkPlayerのプレハブを格納します。NetworkPlayerプレハブのヒエラルキーが画像の通りです。

NetworkPlayerヒエラルキー

Panelは左手の動きに合わせて動き、ボタンの操作でその場に留まらせることが可能です。Head配下のViewPanelは、相手プレイヤーのPanelに貼り付けたRenderTextureに自身の視界を描画するために配置してあります。Panelのインスペクターは画像の通りです。PanelManagerは上記のものとなります。

Panelのインスペクター

以上が本プロジェクトを再現するための手順です。

1 件の回答 1

0

PanelオブジェクトにRawImageコンポーネントをアタッチしていなかったことが問題でした。また、RectTransformのWidthとHeightが100だったものを1にする必要がありました。

一部のコードを以下のように編集しました。

Vector2 localHitPoint = displayGameObject.transform.InverseTransformPoint(colliderPoint.Value);
var rect = displayGameObject.rectTransform.rect;
Vector2 textureCoord = localHitPoint - rect.min;
textureCoord.x *= displayGameObject.uvRect.width / rect.width;
textureCoord.y *= displayGameObject.uvRect.height / rect.height;
textureCoord += displayGameObject.uvRect.min;
textureCoord = new Vector2(1 - textureCoord.x, 1 - textureCoord.y + 0.1f);

最後に、全体のコードを提示します。

using UnityEngine;
using Photon.Pun;
using UnityEngine.UI;
using System.Collections;

public class PanelManager : MonoBehaviourPun
{
    public Camera displayRenderCamera; // RenderTextureに画像を書き込んでいるカメラ
    private RawImage displayGameObject; // RenderTextureを表示しているGameObject
    private Vector3? colliderPoint = null;
    private bool isCooldown = false;
    void Start()
    {
        InitializeCameraAndPanel();
    }

    void Update()
    {
        bool gripHeld = OVRInput.Get(OVRInput.Button.PrimaryHandTrigger, OVRInput.Controller.RTouch);
        bool triggerNotPressed = !OVRInput.Get(OVRInput.Button.PrimaryIndexTrigger, OVRInput.Controller.RTouch);

        if (gripHeld && triggerNotPressed)
        {
            InteractWithRenderTexture();
        }
        InitializeCameraAndPanel();
    }

    private void InteractWithRenderTexture()
    {
        if (!colliderPoint.HasValue || isCooldown) return;

        Vector2 localHitPoint = displayGameObject.transform.InverseTransformPoint(colliderPoint.Value);
        var rect = displayGameObject.rectTransform.rect;
        Vector2 textureCoord = localHitPoint - rect.min;
        textureCoord.x *= displayGameObject.uvRect.width / rect.width;
        textureCoord.y *= displayGameObject.uvRect.height / rect.height;
        textureCoord += displayGameObject.uvRect.min;
        textureCoord = new Vector2(1 - textureCoord.x, 1 - textureCoord.y + 0.1f);

        Ray ray = displayRenderCamera.ViewportPointToRay(textureCoord);
        RaycastHit hit;

        if (Physics.Raycast(ray, out hit, 10.0f))
        {
            var cubeManager = hit.transform.GetComponent<CubeManager>();
            if (cubeManager != null)
            {
                StartCoroutine(ActivateWithCooldown(cubeManager));
            }
        }
    }

    IEnumerator ActivateWithCooldown(CubeManager cubeManager)
    {
        isCooldown = true;
        cubeManager.StartParticleSystem();
        yield return new WaitForSeconds(2f);
        isCooldown = false;
    }

    private void InitializeCameraAndPanel()
    {
        PhotonView[] allPhotonViews = FindObjectsOfType<PhotonView>();

        foreach (PhotonView view in allPhotonViews)
        {
            if (view.Owner != null)
            {
                if (view.Owner.ActorNumber != PhotonNetwork.LocalPlayer.ActorNumber)
                {
                    GameObject camera = view.gameObject.transform.Find("Head/ViewCamera")?.gameObject;
                    if (camera != null)
                    {
                        displayRenderCamera = camera.GetComponent<Camera>();
                    }
                }
                else if (view.Owner.ActorNumber == PhotonNetwork.LocalPlayer.ActorNumber)
                {
                    GameObject panel = view.gameObject.transform.Find("Panel/Panel")?.gameObject;
                    if (panel != null)
                    {
                        displayGameObject = panel.GetComponent<RawImage>();
                    }
                    else
                    {
                        Debug.LogWarning("Panel/Panel not found on my object");
                    }
                }
            }
        }
    }

    void OnTriggerEnter(Collider other)
    {
        if (other.CompareTag("rightHand"))
        {
            var plane = new Plane(transform.forward, transform.position);
            colliderPoint = plane.ClosestPointOnPlane(other.transform.position);
        }
    }

    void OnTriggerExit(Collider other)
    {
        if (other.gameObject.tag == "rightHand")
        {
            colliderPoint = null;
        }
    }
}

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。