출처:
https://www.roadtovr.com/meta-reality-labs-research-neural-etendue-expansion-vr-ar-xr/
프린스턴 대학교의 메타 리얼리티 연구소 연구진은 망막 해상도로 초광시야각 홀로그램 디스플레이를 구현하는 방법을 자세히 설명하는 새로운 논문을 발표했습니다. 이 방법은 이러한 매개변수에 도달하는 데 필요한 디스플레이 해상도를 대폭 줄여 홀로그램 디스플레이를 XR 헤드셋에 도입하는 지름길이 될 수 있습니다. 홀로그램 디스플레이는 현실 세계에서 우리가 보는 빛을 보다 정확하게 표현하는 라이트필드를 표시할 수 있기 때문에 XR에서 특히 바람직합니다.
메타의 XR 및 AI R&D 그룹인 Reality Labs Research는 홀로그래피를 XR 헤드셋에 적용하기 위해 상당한 시간과 노력을 투자해 왔습니다.
XR 헤드셋에서 홀로그램 디스플레이를 구현하는 데 필요한 많은 장애물 중에는 홀로그램 시스템에서 빛을 얼마나 넓게 퍼뜨릴 수 있는지를 측정하는 에텐듀(Étendue) 문제가 있습니다. 에텐듀가 낮다는 것은 시야각이 낮다는 의미이며, 이러한 종류의 시스템에서 에텐듀를 높이는 유일한 방법은 디스플레이의 크기를 늘리거나 이미지의 품질을 낮추는 것인데, 둘 다 XR 헤드셋에서 사용하기에 바람직하지 않습니다.
프린스턴 대학교와 킹 압둘라 과학기술대학교의 Reality Labs Research 연구진은 초광각 고화질 홀로그램 디스플레이를 위한 신경 확장기라는 제목의 새 논문을 동료 심사 연구 저널인 Nature Communications에 발표했습니다.
https://www.nature.com/articles/s41467-024-46915-3#Abs1
이 논문에서는 홀로그램 디스플레이의 에텐듀를 최대 64배까지 확장하는 방법을 소개합니다. 연구진은 이를 통해 60도당 60픽셀의 망막 해상도를 달성하는 초광시야각 홀로그램 디스플레이로 가는 지름길을 만들 수 있다고 말합니다.
메타 리얼리티 랩스 리서치 이미지 제공
연구진은 현재보다 더 높은 해상도의 공간 광 변조기(SLM)가 여전히 필요하지만, 이 방법을 사용하면 필요한 SLM 해상도를 수십억 픽셀에서 수천만 픽셀로 줄일 수 있다고 말합니다.
연구진은 해상도가 7,680 × 4,320인 이론적 SLM을 가정할 때, 에텐듀 확장 방법을 시뮬레이션한 결과 이상적인 조건에서 126° 수평 시야각과 각도당 60픽셀의 해상도(진정한 '망막 해상도')를 갖춘 디스플레이를 구현할 수 있다고 말합니다.
현재 이러한 SLM은 존재하지 않지만, 에텐듀 확장 없이 이와 유사한 디스플레이를 만들려면 61,440 × 34,560 해상도의 SLM이 필요하며, 이는 현재 또는 가까운 미래의 제조 능력을 훨씬 뛰어넘는 것입니다.
에텐듀어 확장 자체가 새로운 것은 아니지만, 연구자들은 기존 방식은 에텐듀어를 확장하는 데 상당한 비용이 들기 때문에 시야각과 이미지 품질 사이에 반비례 관계가 발생한다고 말합니다.
논문은 "[우리 방식]으로 제작된 에텐듀 확장 홀로그램은 초광각 시야각과 고충실도를 모두 보여주는 유일한 홀로그램"이라고 주장합니다.
연구진은 이 방법을 '신경 에텐듀 확장'이라고 부르는데, 이는 표시되는 내용을 고려하지 않는 기존의 순진한 방법에 비해 에텐듀를 확장하는 '스마트한' 방법입니다.
메타 리얼리티 랩스 리서치 이미지 제공
"뉴럴 에텐듀 확장기는 자연 이미지 데이터 세트에서 학습되며 SLM의 파면 변조와 함께 최적화됩니다. 얕은 신경망과 유사한 이 새로운 종류의 광학 요소를 통해 파면 변조 요소를 자연 이미지의 디스플레이에 맞게 조정하고 사람의 눈으로 인식할 수 있는 디스플레이 품질을 극대화할 수 있습니다."라고 논문은 설명합니다.
논문 저자인 에단 쳉, 그레이스 쿠오, 백승환, 네이선 마츠다, 앤드류 마이몬, 플로리안 쉬퍼스, 프라네스 차크라바툴라, 치앙 푸, 볼프강 하이드리히, 더글러스 란만, 펠릭스 하이데는 이 방법이 단순한 연구 단계가 아니라 언젠가는 실제 응용에 사용될 수 있다고 믿는다며 논문을 마무리합니다.
"[...] 뉴럴 에텐듀 익스팬더는 컬러 홀로그램을 위한 다중 파장 조명을 지원합니다. 이 확장기는 3D 컬러 홀로그래피와 시청자의 동공 움직임도 지원합니다. 미래의 홀로그램 디스플레이는 특히 VR/AR 디스플레이에 대해 설명한 광학 설계 방식을 구성에 통합할 수 있을 것으로 예상합니다."
이 연구는 흥미롭지만 연구자들은 이 방법을 통해 아직 탐구해야 할 것이 많다고 말합니다.
"메타표면과 같은 다른 유형의 새로운 광학을 활용하도록 작업을 확장하는 것은 나노 크기의 메타표면 특징으로 회절 각도를 크게 확대할 수 있고 메타광학을 사용하여 편광과 같은 빛의 추가 특성을 변조할 수 있으므로 향후 연구의 유망한 방향이 될 수 있습니다."
