출처: https://www.roadtovr.com/apple-vision-pro-meta-quest-3-hand-tracking-latency-comparison/
비전 프로는 핸드 트래킹을 중심으로 제작되었지만, 퀘스트 3는 컨트롤러를 가장 우선적으로 사용하지만 일부 콘텐츠에 대한 대체 옵션으로 핸드 트래킹도 지원합니다. 그렇다면 어느 쪽이 핸드 트래킹이 더 좋을까요? 정답을 알고 나면 놀랄지도 모릅니다.
Vision Pro 핸드 트래킹 지연 시간
모션 컨트롤러를 지원하지 않는 Vision Pro의 유일한 모션 기반 입력은 핸드 트래킹입니다. 핵심 입력 시스템은 손과 눈을 결합하여 전체 인터페이스를 제어합니다.
헤드셋 출시 전에 일부 영상을 통해 핸드 트래킹 지연 시간을 100~200밀리초로 측정할 수 있었지만, 이는 꽤 큰 차이입니다. 이제 자체 테스트를 실행한 결과 Vision Pro의 핸드 트래킹은 비전OS 베타 v1.1.1에서 약 128ms로 더 정확하게 측정되었습니다.
측정 방법은 다음과 같습니다. 패스스루 손과 가상 손을 모두 볼 수 있는 헤드셋의 화면 캡처를 사용하여 패스스루 손이 움직일 때와 가상 손이 움직일 때 사이에 몇 프레임이 걸리는지 확인할 수 있습니다. 손 렌더링에는 Apple의 페르소나 시스템을 사용하여 Unity에서 발생할 수 있는 추가 지연 시간을 제거했습니다.
몇 가지 테스트를 샘플링한 결과, 약 3.5프레임으로 확인되었습니다(말장난 의도). 캡처 속도 30FPS로 계산하면 116.7ms입니다. 여기에 Vision Pro의 알려진 패스스루 지연 시간인 약 11ms를 더하면 최종적으로 127.7ms의 광자 대 핸드 트래킹 지연 시간을 얻을 수 있습니다.
또한 패스스루 탭과 가상 입력 사이의 시간(전체 골격 핸드 트래킹이 단순 탭 감지보다 느린지 확인하기 위해)도 테스트했지만 지연 시간에서 큰 차이를 발견하지 못했습니다. 또한 다양한 조명 조건에서 테스트했지만 큰 차이를 발견하지 못했습니다.
퀘스트 3 핸드 트래킹 지연 시간
손으로만 제어하지 않는 헤드셋인 Quest 3와 비교하면 어떨까요? 유사한 테스트를 통해 Quest 3의 핸드 트래킹 지연 시간은 Quest OS v63에서 약 70ms로 나타났습니다. 이는 Vision Pro에 비해 상당히 개선된 수치이지만, 헤드셋을 실제로 사용하면 Quest 3의 핸드 트래킹 지연 시간이 훨씬 더 짧을 것으로 생각할 수 있습니다. 하지만 일부 지연 시간은 가려져 있는 것으로 밝혀졌습니다.
저희가 알아낸 방법은 다음과 같습니다. 240Hz 스루 렌즈 캡처를 사용하여 Vision Pro에서와 동일한 종류의 모션 테스트를 수행하여 통과하는 손과 가상 손의 움직임 사이에 얼마나 걸리는지 알아봤습니다. 그 결과 31.3ms가 나왔습니다. 퀘스트 3의 알려진 패스스루 지연 시간인 약 39ms와 합치면 퀘스트 3의 광자에서 손까지의 트래킹 지연 시간은 약 70.3ms가 됩니다.
퀘스트 3을 사용할 때 핸드 트래킹은 이 결과보다 훨씬 더 빠르게 느껴지는데, 그 이유는 무엇일까요?
Quest 3의 패스스루 지연시간은 Vision Pro의 약 3.5배(11ms 대 39ms)이기 때문에 실제 손이 움직이는 것을 보고 가상의 손이 움직이는 것까지 걸리는 시간은 31.3ms에 불과합니다(Vision Pro의 116.7ms와 비교하면).
여기서 중요한 점은 핸드 트래킹의 지연 시간과 정확도는 서로 다른 두 가지라는 점입니다. 많은 경우 이 둘은 반비례 관계에 있을 수도 있습니다. 속도를 위해 핸드 트래킹 알고리즘을 최적화하면 정확도를 일부 포기할 수 있습니다. 그리고 정확도를 위해 최적화하면 속도를 일부 포기해야 할 수도 있습니다. 현재로서는 두 헤드셋의 손 추적 정확도를 측정할 수 있는 좋은 방법은 직감 외에는 없습니다.
