ASW를 헤드셋에서 실시하는 에어링크 프레임레이트 보험 AFI

https://developer.oculus.com/blog/air-link-framerate-insurance-afi/

AFI(Air Link Framerate Insurance)라는 이름을 갖습니다.

이전에 오큘러스 디버그 툴에서 등장한 모바일 ASW가 AFI로 보입니다.

PC ASW는 2016년 오큘러스 리프트 용으로 출시하였으며 이는 저사양 PC에서 VR 콘텐츠를 사용할 수 있게 해주는 역할이었습니다.

핵심은 연속적인 프레임들에서 파생된 모션 벡터를 이용하여 이미지 내에서의 왜곡을 보정하는 것을 추가하여 ATW(비동기 시간 왜곡)의 회전 보정을 좀 더 강화하는 것입니다.

그러나 렌더링이 완료되고 PC에서 WiFi 네트워크로 넘어가게 되면 더 이상 ASW를 수행할 리소스가 없게됩니다.

ASW vs AFI:

이미 전송된 프레임은 무선 신호가 불규칙해지면 헤드셋에 늦은 프레임 또는 드롭된 프레임으로 표시됩니다.

VR에서는 계속해서 화면을 표시하기위해 머리의 현재 회전과 일치하도록 이전 프레임에 회전 보정을 계속 적용합니다.

그러나 가까운 물체는 머리의 위치 변경으로 인해서 시차 모션이 발생하고, 움직이던 물체는 실제로는 움직이고 있지만 다음 프레임이 전달되기 전까지는 화면에 멈춘것으로 표시됩니다.

이러한 아티팩트들은 움직이는 물체가 흔들리는 것 처럼 보이고 버벅이는것으로 보입니다. 이는 사용자에게 부정적인 영향을 끼지게 됩니다.

Half-Rate ASW는 해당 아티팩트를 완화할 수 있지만 퀘스트와 같은 스트리밍 환경에서는 네트워크 전송 스파이크로 인한 프레임 드롭 완화에 사용할 수 없습니다.

에어 링크에서 동적 비트 전송률은 네트워크 스파이크가 프레임 드롭을 유발하며 비디오 프레임 크기를 줄여 완화될 수 없다는 것을 확인할 수 있습니다.

Half-rate ASW를 사용하려면 PC와 HMD 간의 양방향 통신이 필요하므로 네트워크 스파이크 동안에는 아무런 쓸모가 없습니다.

불안정한 네트워크에서 끊김없는 고품질을 제공하기 위해서는 다른 모든 프레임을 안정적이고 정시에 전달해야 합니다. 마지막으로 동적 비트 전송률과 달리 Half-rate ASW는 장기간 사용될 경우 입력 지연을 추가합니다.

Air Link의 경우 ASW 스타일의 왜곡 보정을 지연 프레임의 짧고 변칙적인 버스트에 즉시 그리고 주문형으로 적용할 수 있는 기술이 필요했습니다. 우리는 이 기술을 Air Link Framerate Insurance 또는 AFI라고 부릅니다.

활성화되면 AFI는 ASW 1.0과 유사한 기술을 적용하지만 온디맨드 및 퀘스트에 적용됩니다. 헤드셋에 제출된 과거 몇 개의 프레임은 GPU에 제출되고 모션 벡터를 계산하는 데 사용되며, 이 벡터는 머리 모션과 애니메이션을 외삽하여 재투영된 프레임을 매끄럽게 만드는 데 적용됩니다.

이 기술은 응용 프로그램 SpaceWarp (AppSW)와 다릅니다. AppSW는 네이티브 Quest 앱의 성능을 최적화하기 위한 개발자용 기술이며 게임 엔진 통합이 필요합니다. AFI는 Air Link 전송 간섭을 완화하는 데 중점을 두고 있으며 활성화되면 모든 Link 앱에서 자동으로 작동합니다.

AFI를 활성화하는 방법

기본적으로 AFI는 모든 사용자에 대해 비활성화되어 있습니다. 이 기능을 켜려면 다음 지침을 따르세요.

요구 사항

PC 및 Quest 소프트웨어 버전은 모두 v38 이상이어야 합니다.
퀘스트 2(AFI는 퀘스트 1에서 지원되지 않음)
USB 링크 또는 에어 링크

1. Oculus 디버그 도구(ODT) 켜기

2. "모바일 ASW" 옵션을 "활성화됨 - 프레임 속도 보험"으로 설정합니다.

다른 옵션에 대한 설명:

비활성화됨: AFI를 강제로 비활성화합니다.

자동: 기본 설정을 사용합니다. v38에서 기본 설정은 "사용 안 함"입니다. "자동" 대신 "활성화" 또는 "비활성화"를 선택하면 향후 릴리스에서 기본 설정이 무시됩니다.

3. [선택 사항] "(PC) Asynchronous Spacewarp" 옵션을 "Disabled"로 설정합니다.

참고: PC ASW는 기본적으로 여전히 활성화되어 있습니다.

"모바일"(퀘스트 측) ASW를 통해 PC의 리소스 소비를 줄이는 것을 원하는 사용자는 AFI가 활성화될 때마다 PC ASW가 비활성화되기를 원할 것입니다.

리소스 소비를 줄이려면 PC ASW를 비활성화하십시오. 비활성화 하지 않을 경우, PC ASW가 추가 대기 시간 완화 기술(예: PTW)을 적용하므로 대부분의 경우에서 AFI와 함께 PC ASW를 활성화한 상태로 두는 것이 최고의 시각적 품질 옵션입니다.

주의 사항

Framerate Insurance는 무선 전송에서 간헐적인 버벅거림을 도와줄 수 있습니다. 그러나 네트워크 조건이 너무 열악하여 여러 프레임을 연속으로 삭제하는 경우 해당 프레임에 대한 ASW 사용을 중단합니다. 그 근사값은 마지막 양호한 프레임에서 재투영 시간이 길어질수록 더 나빠지기 때문입니다.

또한 상대 프레임 모션을 계산하는 광학 흐름 알고리즘은 완벽하지 않습니다. 프레임에 반복되는 패턴이 있는 텍스처가 있는 경우 알고리즘을 혼동하여 로컬화된 오류가 발생할 수 있습니다. 이는 렌더링된 이미지에서 단순히 흔들림으로 나타납니다. 이러한 아티팩트는 PC ASW 1.0에 존재했으며 ASW가 아닌 프레임의 잠재적인 전체 화면 흔들림보다 덜 불쾌하다고 가정합니다.

알려진 문제

120Hz로 AFI를 실행하는 것은 이 릴리스에서 지원되지 않습니다. 그렇게 하면 상당한 떨림 및 대기 시간 아티팩트가 발생합니다. 향후 릴리스에서 이 버그를 해결하고 있습니다.