1

こんにちは。

UnityでVRアプリケーションを開発しており、現在は物理的にオブジェクトに触れた際にエフェクトが出るようになっています。これを拡張して、RenderTextureを介してユーザーが視覚的に「触れた」と認識した場合にも同様のエフェクトを表示させたいと考えています。

たとえば、VRコントローラーがRenderTextureに映し出されたオブジェクトに視覚的に接触したと認識されると、そのオブジェクトに対してキラキラするパーティクルエフェクトが発生するようにしたいのですが、RenderTexture上での接触をどのように検出し、エフェクトを適切にトリガーするかについて、具体的なアプローチがわかりません。

既に物理的な接触でエフェクトを発生させる実装は完了していますが、これをRenderTexture上の視覚的な接触に応じても発動させる方法を教えていただけないでしょうか。実装に関するアドバイスや参考になるサンプルがあれば大変助かります。

具体的にどうしたいかを示した動画は以下になります。
https://www.youtube.com/watch?v=qIrXcXVTVf8

よろしくお願いします。

追記
hiromasa masuda様のコードをもとに修正したコード.
変更後の挙動:RenderTextureを貼り付けているオブジェクト越しに,物体を触れてもParticleSystemの発動はしない.

using UnityEngine;

public class PanelManager : MonoBehaviour
{
    public Camera displayRenderCamera; // RenderTextureに画像を書き込んでいるカメラ
    public GameObject displayGameObject; // RenderTextureを表示しているGameObject
    public LayerMask interactableLayers;  // インタラクト可能なレイヤー

    void Update()
    {
        bool gripHeld = OVRInput.Get(OVRInput.Button.PrimaryHandTrigger, OVRInput.Controller.RTouch);
        bool triggerNotPressed = !OVRInput.Get(OVRInput.Button.PrimaryIndexTrigger, OVRInput.Controller.RTouch);

        // 指さしでパネル上のオブジェクトに触れたときに発火
        // このifの中には問題なく入る
        if (gripHeld && triggerNotPressed)
        {
            InteractWithRenderTexture();
        }
    }
    public void InteractWithRenderTexture() // パネル上のオブジェクトに触れたときの処理
    {
        // カメラを基準にViewPortからレイを生成
        Ray ray = displayRenderCamera.ViewportPointToRay(GetViewPoint(GetLocalHitPoint().position));

        RaycastHit hit;
        if (Physics.Raycast(ray, out hit, 10.0f, interactableLayers))
        {
            var particleSystem = hit.collider.gameObject.GetComponent<ParticleSystem>();
            if (particleSystem != null)
            {
                particleSystem.Play();
            }
        }

    }

    public Transform GetLocalHitPoint() // パネル上のオブジェクトに触れたときのローカル座標を取得
    {
        Vector3 controllerPosition = OVRInput.GetLocalControllerPosition(OVRInput.Controller.RTouch);
        Vector3 screenPoint = displayRenderCamera.WorldToScreenPoint(controllerPosition);
        Ray ray = displayRenderCamera.ScreenPointToRay(screenPoint);
        RaycastHit hit;
        if (Physics.Raycast(ray, out hit, Mathf.Infinity, interactableLayers))
        {
            return hit.transform;
        }
        return null;
    }


    public Vector3 GetViewPoint(Vector3 localHitPoint) // パネル上のオブジェクトに触れたときの世界座標を取得
    {
        if (localHitPoint == null)
        {
            return Vector3.zero;
        }

        Vector3 localPosition = localHitPoint - displayGameObject.transform.position;
        Bounds bounds = displayGameObject.GetComponent<Renderer>().bounds;
        Vector3 normalizedPosition = new Vector3(
            (localPosition.x + (bounds.size.x / 2)) / bounds.size.x,
            (localPosition.y + (bounds.size.y / 2)) / bounds.size.y
        );
        return normalizedPosition;
    }


}

デバッグ追加後

using UnityEngine;

public class PanelManager : MonoBehaviour
{
    public Camera displayRenderCamera; // RenderTextureに画像を書き込んでいるカメラ
    public GameObject displayGameObject; // RenderTextureを表示しているGameObject
    public LayerMask interactableLayers;  // インタラクト可能なレイヤー

    void Update()
    {
        bool gripHeld = OVRInput.Get(OVRInput.Button.PrimaryHandTrigger, OVRInput.Controller.RTouch);
        bool triggerNotPressed = !OVRInput.Get(OVRInput.Button.PrimaryIndexTrigger, OVRInput.Controller.RTouch);

        // 指さしでパネル上のオブジェクトに触れたときに発火
        // このifの中には問題なく入る
        if (gripHeld && triggerNotPressed)
        {
            InteractWithRenderTexture();
        }
    }
    public void InteractWithRenderTexture() // パネル上のオブジェクトに触れたときの処理
    {
        // カメラを基準にViewPortからレイを生成
        Vector3 localHitPoint = GetLocalHitPoint();
        GameObject cube = GameObject.CreatePrimitive(PrimitiveType.Cube);
        cube.transform.position = localHitPoint;
        if (localHitPoint != Vector3.zero)
        {
            Ray ray = displayRenderCamera.ViewportPointToRay(GetViewPoint(localHitPoint));
            Debug.DrawRay(ray.origin, ray.direction * 10, Color.red, 30.0f);
            RaycastHit hit;
            if (Physics.Raycast(ray, out hit, 10.0f, interactableLayers))
            {
                var particleSystem = hit.collider.gameObject.GetComponent<ParticleSystem>();
                if (particleSystem != null)
                {
                    particleSystem.Play();
                }
            }
        }

    }

    public Vector3 GetLocalHitPoint() // パネル上のオブジェクトに触れたときのローカル座標を取得
    {
        Vector3 controllerPosition = OVRInput.GetLocalControllerPosition(OVRInput.Controller.RTouch);
        Vector3 screenPoint = displayRenderCamera.WorldToScreenPoint(controllerPosition);
        Ray ray = displayRenderCamera.ScreenPointToRay(screenPoint);
        RaycastHit hit;
        if (Physics.Raycast(ray, out hit, Mathf.Infinity, interactableLayers))
        {
            return displayGameObject.transform.InverseTransformPoint(hit.point);
        }
        return Vector3.zero;
    }


    public Vector3 GetViewPoint(Vector3 localHitPoint) // パネル上のオブジェクトに触れたときの世界座標を取得
    {
        if (localHitPoint == null)
        {
            return Vector3.zero;
        }

        Vector3 localPosition = localHitPoint - displayGameObject.transform.position;
        Bounds bounds = displayGameObject.GetComponent<Renderer>().bounds;
        Vector3 normalizedPosition = new Vector3(
            (localPosition.x + (bounds.size.x / 2)) / bounds.size.x,
            (localPosition.y + (bounds.size.y / 2)) / bounds.size.y
        );
        return normalizedPosition;
    }


}
2
  • 回答を受けて変更しても解決しない場合に、質問時の元々のソースコード自体を変更してしまうと、質問と回答の内容が合わなくなってしまいます。質問時のソースコードはそのままにして、変更した新しいソースコードは別途追記するようにしてください。またその際に結果が変わったのか否か、変わったのならどうなったのか、それの何処が未だ問題なのか、といった情報も追記してみてください。
    – kunif
    Commented 4月26日 8:10
  • @kunif 承知しました,アドバイスありがとうございます. Commented 4月26日 8:12

1 件の回答 1

2

RenderTexture を表示しているオブジェクトにハンドで接触した点の座標が取得できれば実現できます。
手順は、以下のようになります。

  1. RenderTexture を表示しているオブジェクトにハンドで接触した点の座標取得
  2. 取得した座標から Viewport を計算
  3. RenderTexture 生成元のカメラを基準に計算した Viewport からレイを生成
  4. 生成したレイを飛ばしてオブジェクトとの接触を検出
  5. オブジェクトが検出されて、処理が必要なオブジェクトなら処理を実行

以下は、MRTK v3 でのコード例です。
RenderTexture を表示しているオブジェクトにアタッチしているスクリプト内のオブジェクト選択時のイベントの実装となります。
選択した地点の座標取得方法は、各フレームワーク固有となると思いますが、以降の処理は、どのフレームワークでも動作すると思います。

public void SelectEntered(SelectEnterEventArgs arg)
{
    // RenderTexture を表示している GameObject を取得
    var displayGameObject = arg.interactableObject.transform.gameObject;
    // RenderTexture を表示している GameObject 上の選択場所の座標を取得
    Transform hitPointTransform = arg.interactorObject.GetAttachTransform(arg.interactableObject);

    // RenderTexture に画像を書き込んでいるカメラを取得
    var camera = Camera.allCameras.FirstOrDefault(c => c.name == "DisplayRenderCamera");
    
    if (camera == null)
    {
        return;
    }

    var localHitPoint = hitPointTransform.position - displayGameObject.transform.position;
    var displayGameObjectSize = displayGameObject.GetComponent<MeshRenderer>().bounds.size;

    // Viewport を計算        
    var viewportPoint = new Vector3()
    {
        x = (localHitPoint.x + (displayGameObjectSize.x / 2)) / displayGameObjectSize.x,
        y = (localHitPoint.y + (displayGameObjectSize.y / 2)) / displayGameObjectSize.y,
    };

    // カメラを基準に Viewport からレイを生成
    Ray ray = camera.ViewportPointToRay(viewportPoint);

    // Debug.DrawRay(ray.origin, ray.direction * 10, Color.red, 30.0f);

    // レイキャストしてオブジェクトを検出
    RaycastHit hit;
    if (Physics.Raycast(ray, out hit, 10.0f))
    {
        // 検出したオブジェクトから特定スクリプトを取得
        var cubeManager = hit.collider.gameObject.GetComponent<CubeManager>();

        if (cubeManager != null)
        {
            // 対象のオブジェクトが見つかった場合は、処理を実行
            cubeManager.ShowPrticle();
        }          

        Debug.Log($"HIT!!! {hit.collider.gameObject.name}, {hit.collider.gameObject.transform.position}");
    }
}

実行結果は、以下のようになります。

RenderTexture へのタッチ

13
  • hiromasa masuda様 いつもありがとうございます. 提示していただいたコードを参考に,以下のようにコードを作成しました. (コードについては文字数制限のため,質問に追記させていただきます.) MRTKv3は使用しない方針です. 手順としては, 1.本コードをRenderTextureを貼り付けているオブジェクトにアタッチ 2.キューブオブジェクトにparticleFilterを付与.Play on Awakeをオフにしておく. しかし,うまくいきませんでした.思い当たる原因はございますでしょうか? Commented 4月23日 8:23
  • ハンドで、RenderTexture を表示しているオブジェクトへタッチしてると思います。この時のハンドとオブジェクトの接触点の座標の取得が必要です。コード上ではどこが該当しますか? Commented 4月23日 14:56
  • InteractWithRenderTexture関数内で行っています. Commented 4月24日 3:30
  • 掲載のコードを見ると、カメラの中心からレイを飛ばしてレイに衝突した点の座標を使っているように見えます。ハンドで RenderTexture 触れた地点の座標取得が必要です。 Commented 4月24日 10:58
  • ありがとうございます.ご指摘の通りに修正したコードを質問に追記しました.上記コードをRenderTextureを貼り付けているオブジェクトにアタッチしております.また,パーティクルシステムを発動させるオブジェクトは,パーティクルシステムをonAwake状態にしてあります.オブジェクトとハンドはコリダーがついており,IsTriggerにチェックを入れてあります.しかし,うまく動かなかったです.お手数ですが,見ていただけないでしょうか?お手数をおかけしますが,よろしくお願いします. Commented 4月26日 7:45

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。