https://arxiv.org/abs/2401.16536
지각적으로 최적화된 압축 기술은 일상적으로 사용됩니다.
렌더링, 전력, 대역폭, 스토리지 및 비용 제약을 해결하면서 인지된 이미지 품질에 미치는 영향을 최소화하기 위해 일상적으로 사용됩니다.
기존 다이렉트 뷰 디스플레이의 다양한 애플리케이션(예:, TV의 인터레이스, 사진의 jpg 압축). 헤드 마운트 디스플레이(HMD)는 모든 영역에서 추가적인 계산 문제를 야기합니다.
망막 해상도, 넓은 시야각의 가상 현실 (VR) 헤드셋은 높은 프레임 속도(90Hz 이상)로 많은 픽셀을 렌더링해야 합니다.
인간의 시각 시스템은 시각적 입력에 똑같이 민감하지 않으며, 시선 조건부 포비티드 렌더링은 헤드 마운트 디스플레이에서 이 사실을 활용하기 위해 제안되었습니다.
이러한 방법은 다음과 같습니다. 풀 충실도 장면에 대한 사용자의 인식을 유지하면서 사용자의 주변 시야에서 낮은 품질 수준으로 렌더링할 수 있습니다. 그러나 이러한 방법에는 공간적으로 정확한 시선추적이 필요합니다. 포비티드 렌더링에 사용되는 시선추적기는 포비티드 렌더링에 사용되는 아이트래커는 사용자를 고려할 수 있도록 지연 시간이 짧아야 합니다. 즉, 자연스러운 시선 이동 중에 새로운 고정 지점으로 빠르게 이동하는 것을 고려해야 합니다.
새케이드는 인간이 낮은 시력을 보상 할 수있게합니다. 주변부에 관심있는 기능을 fovea에 배치하여 주변부에 있습니다. 공간 시력과 색 지각이 가장 민감합니다. 시각적 입력은 시각적 입력이 억제되어 망막의 움직임 흐림을 숨길 수 있습니다. 망막 운동 흐림을 숨기기 위해 시각적 입력이 억제됩니다. 특히, 시각적 민감도는 완료시 즉시 회복되지 않습니다.
새로운 시선 지점으로의 이동은 다음과 같습니다. 안구 드리프트라고 불리는 부드러운 고정 동작이 뒤따릅니다. 빠르고 작은 새케이드("마이크로 새케이드")라고 불리는 부드러운 고정 운동이 뒤따릅니다, 그리고 이러한 무의식적 인 안구 운동은 시각적 민감도를 증가시킵니다.
시간이 지남에 따라 높은 공간 주파수 다시 말해, 희생 직후의 중심와 시력은 눈이 안구 표류를 할 수있을 때까지 다음 희생이 감소합니다.
시각적 지각의 공간적 변화는 초점 렌더링 기술을 위해 포비티드 렌더링 기술에 활용되긴 했지만, 이러한 시간적 시력 변화를 새케이드를 완료한 후의 시력 변화의 시간적 변화 (즉, 사카데기 이후의 착륙기). 이 현상을 활용하는 새로운 비포비티드 사케이드 조건부 렌더링 알고리즘을 제안합니다.
세 가지 사용자 연구를 통해 이 접근법을 검증하고 그리고 다음과 같은 추가적인 기여를 합니다:
- 처음으로 사카딕 이후의 시각적 특성을 완전히 규명했습니다. 시력을 완전히 특성화했습니다. 낮은 수준의 정신물리학적 과제를 통해, 우리는 사카이드 완료 후 공간 시력이 현저히 감소했다가 100-200밀리초 동안 빠르게 100-200밀리초 동안 증가합니다.
- 이렇게 새롭게 확인된 지각 데이터를 바탕으로 다음과 같은 사실을 밝혀냈습니다. 새케이드 조건부 렌더링으로 50% 이상의 대역폭을 확보할 수 있음 대역폭을 50% 이상 절약할 수 있음을 보여줍니다(각도당 60픽셀 이상).
- 우리는 통제되고 재현 가능한 심리물리 실험 환경에서 30개의 자연 이미지에 대한 재현 가능한 심리물리 실험을 통해 알고리즘의 실행 가능성을 확인합니다.
- 마지막으로 90픽셀/도(ppd)의 시선 추적 VR 헤드셋을 제작합니다. 이 헤드셋을 사용하여 생태학적으로 타당하고 제약이 없는 조건에서 새케이드 조건부 렌더링을 추가로 평가합니다.
내가 이해한것은 다음과 같음
사람의 눈이 움직이고나면 새케이드라고 부르는 동작이 이어짐
이때 눈의 이동이 끝난 시점에서는 시각적 민감도가 낮고
새케이드가 끝나고 나면 시각적 민감도가 높아짐
퀘스트 2를 개조해서 33도의 FOV를 가지는 90PPD 헤드셋을 만들었고 알고리즘을 통해 눈을 움직이는 동안에는 화면의 해상도를 낮추고 시간에 따라서 다시 해상도를 부드럽게 증가시켰음.
그 결과 여기서 세팅 3번 및 6번에서 사람들이 알아차리지 못했고 그 결과 필요한 연산 성능이나 전력 소비를 줄일 수 있을 것이라고 예상함.
