실시간 레이트레이싱 이야기할때 그냥 뭐 솔직히 깊게 생각 안하고 한 이야기라서요. 디자인 + 레이트레이싱 = VRay 같은 모델링 및 렌더링이 덜컥 생각나버려서 섣부르게 단정지은 것 같습니다. 이미 레이트레이싱 적용된 VR 게임이 있는거 보면 가능할 것 같아요. 관련 논문도 있네요.
https://www.researchgate.net/publication/251828087_Applying_Ray_Tracing_for_Virtual_Reality_and_Industrial_Design

https://youtu.be/vnciEkUDnhs 여기서는 패스스루를 사용해보는 영상인데, 영상 업로드 일자 기준으로 뎁스는 구현되지 않았습니다. https://www.roadtovr.com/8-minute-video-using-htc-vives-front-facing-passthrough-camera-steamvr/

Vive Pro 에서의 뎁스와 관련된 영상은 여기에 있습니다. https://cdn.stereolabs.com/blog/wp-content/uploads/2018/05/Depth-Maps-2.mp4?_=6

뎁스가 중요한지 안한지는 저는 판단하기 어려울 것 같네요. 개인적으로는 뎁스 없어도 공간감이나 스케일은 느낄수 있긴 하다고 생각은 합니다.

근데 이미 Varjo XR-3 데모를 보거나 XR-1을 갖고 있는 사람을 알고있어서 보고 들은걸 토대로 하면 AR 관련해서 Varjo의 하드웨어를 쓰는게 낫다고 머릿속에 박혀있으니까 적합한 이야기를 제시 해드릴 수가 없는 것 같네요.

결론적으로는 어느정도 하드웨어적 한계도 있으니 구현은 가능하지만 이미 업계에서 사용되고있는 퀄리티와는 차이가 있을 것이며, 순전히 데모용이라면 이미 Quest 2에서도 구현이 된 바가 있으니 퀄리티는 Varjo에 비하여 떨어지더라도 충분히 구현은 가능하다고 생각합니다. 뭐... 레이 트레이싱은 잘 모르겠네요. 이거 패스스루 관련 API 적용해서 언리얼에 통합한다음에 쓰면 되지 않을까 싶긴한데 솔직히 저도 잘 모르겠습니다.