https://twitter.com/cixliv/status/1756377241037291975
흥미롭게도 Vision Pro의 손 추적은 30Hz에 불과하지만 헤드셋은 90Hz로 작동하여 게임을 플레이하는 동안 매우 눈에 띄었습니다.
Unity 게임에서 게임이 지연되는 것처럼 느껴집니다.
또한 손 추적은 LED/IMU 추적에 비해 계산 비용이 매우 많이 듭니다.
...참고로 퀘스트 같은 경우 퀘스트 2 초기에는 30hz 갱신율이었다가, 이후 2021년에 업데이트로 60hz로 올라감
...이후 작년에는 핸드 트래킹 레이턴시 40% 감소, 빠른 손 움직임 추적 레이턴시 75% 감소하는 업데이트 진행
https://youtu.be/jS4TuYoFjgM?si=VLaBSXhLcfwBsMwa
그와 함께 핸트만 이용해서 리듬게임까지 할 수 있다면서 Move Fast 라는 시연용 앱도 출시
실제 해보면 빠른 팔 움직임에도 상당한 저지연 트래킹을 보여줌
https://www.oculus.com/deeplink/?action=view&path=/app/6087525674710349&ref=oculus_desktop
아직 뭐 최적화가 덜 된 탓일수도 있고
컴퓨터 비전 기술만 이용해서 하는 옵티컬 추적 방식은 항상 카메라 캡쳐 속도 + 이미지를 해석해서 손 모양 유추하는 프로세싱 과정 때문에 느릴 수 밖에 없긴 함
컨트롤러는 관성 센서인 IMU가 1000hz로 작동하니 모션 캡쳐 빈도가 훨씬 빠르고 정확하고, 카메라는 1000hz로 찍을 수 있지 않는 한 그거 따라가는건 불가능하다고 봐야함
스탠드 얼론 VR 기기에서 카메라 캡쳐 빈도, 프레임 레이트를 무작정 늘리는것 자체가 불가능함
이걸 하려면 어디 과학 채널에 나오는 극한 슬로우 모션 촬영을 위한 슈퍼 초고속 카메라가 필요하거든
저런 카메라는 잠깐 찍기만 해도 엄청난 용량의 비디오가 나올만큼, 출력되어서 처리해야할 비디오 데이터량부터 어마어마하고,
셔터 속도도 무진장 빨라야해서 저조도 환경 등에서는 완전 쥐약임
이거 때문에 카메라 셔터 속도에 제한을 받지 않는, 셔터가 아예 없이 이미지 센서의 무한대 노출만으로 '움직임' 그 자체만 잡아내는 "이벤트 기반 카메라 - Event Based Camera" 기술이 필요함
얘는 엄청난 비디오 피드 데이터가 들어오는 것도 아니고, 이미지 센서에서 활성화된 픽셀의 움직임만 감지해서 말 그대로 '움직임'만 잡아내는 방식이라 레이턴시랑 잡다한 컴퓨터 비전이 처리해야할 찌꺼기 없이 빠르게 추적이 가능함
https://www.ultraleap.com/company/news/press-release/prophesee-partnership-event-sensors/
실제로 범용 핸드트래킹 장비 '립모션' 개발사인 '울트라 립'이 현재 이벤트 기반 카메라 센서 제조사인 프로페시와 협업해서 초저지연 핸드트래킹 장비 개발중
개인적으로는 지금 VR 기기에 달린 6dof SLAM 추적용으로 달린 카메라들도 이벤트 기반 카메라로 대체되면 IMU 보조 없이도 카메라만으로 IMU에 버금가는 추적이 가능해지지 않을까 하는 생각
사실 현재 퀘스트 등의 제품이 비행기나 기차, 자동차 탑승시 여행 모드가 없는 이유가 카메라만으로는 1000hz 수준의 IMU 추적을 대체할 수 없어서 그럼
의외로 VR 기기 추적의 핵심은 1000hz로 작동하는 IMU고, 카메라는 끽해봤자 60hz로 촬영하며 나오는 데이터로 보정하는 역할일 뿐이라
이벤트 기반 카메라에 대한 추가적인 내용은 아래 글 참조
