https://www.nature.com/articles/s41377-021-00658-8

게재일은 오늘로부터 1달 전인 2021년 10월 25일입니다.

이 아티클과 제 사견을 조금씩 섞어서 글을 써내려갈 것 같은데, 이런 것도 있구나 쯤으로 생각해주시면 좋을 것 같습니다. 번역이 완전히 정확한 것도 아니구요. 아무래도 논문이라 그런지 좀 길고 전문적인 용어가 많네요.

디스플레이 및 광학 내용을 가져왔습니다. AR 부분은 간략하게 가져왔는데, 직접 사이트에 가셔서 읽어보면 꽤 흥미로울 것 같으니 번역기를 쓰거나 그림만 한번 훑고 지나가도 괜찮을 것 같습니다.

이 글에서는 각도 분해능을 각도 해상도로 표기했습니다. 

원문은 Angular resolution으로, 관련된 의미 또는 내용은 여기서 확인해보시기 바랍니다.

https://ko.wikipedia.org/wiki/%EB%B6%84%ED%95%B4%EB%8A%A5

디스플레이 및 광학적인 변수들 짚고 넘어가기

사람의 가로 FoV의 경우 한쪽 눈 기준으로는 160도, 쌍안을 기준으로 중복되는 부분만 계산한다면 120도가 됩니다.

HyperVision의 270도 FoV 구현 특허 - https://arca.live/b/vrshits/38908512

기존에 게시했던 특허 관련 게시글에서 270도까지 구현한 사례를 이야기 했었습니다. 이 사례 외에도 해상도 및 FoV에 몰빵을 친 회사로는 Pimax가 있겠습니다.

광선들의 교차 영역은 사출 동공, 또는 출사동이라고 부르는 영역을 형성하게되는데, 이것은 아이박스라는 매개변수를 만들어냅니다.

아이박스란, 가장자리가 어두워지는 비네팅 현상이 없는 상태로 전체 이미지를 볼 수 있는 영역을 정의합니다. 이 아이박스가 클수록 다양한 IPD를 가지는 사용자들이 사용 할 수 있고, 헤드셋이 조금 흔들리더라도 영역이 넓기 때문에 눈에 보이는 화면의 품질이 준수하게 됩니다. 흔히들 말하는 스윗스팟이란것이 이부분과 관련이 있다고 봐도 될 것입니다.

또한 심도에 관한 것도 중요합니다. 예를들면, 오큘러스 퀘스트 2를 사용하신다면 패스 스루를 할 경우 그 위에 뭔가 오큘러스의 창이 뜬다면 눈이 초점을 맞추는데 어려움을 겪을때가 종종 있을겁니다. 

나는 분명 한 공간 내에서 내 눈앞에 있는 창을 바라보고 있는데 묘하게 좌안과 우안이 서로 협조하지 않으면서 심도 깊이에 대한 혼란이 옵니다.

이를 수렴-조절 불일치라고 부릅니다.

각도 해상도는 디스플레이 패널의 총 해상도를 FoV로 나누어 정의합니다.

사용자가 인식하는 이미지의 선명도를 측정하는 요소라고 보면 되겠습니다.

색수차(chromatic aberration)는 파장에 따른 굴절률의 차이에 의해 생기는 수차입니다.

이런 식으로 색이 분리되는 듯이 보이는 현상을 말합니다.

일반적인 AR, VR의 광학 기술의 개략도

Angular resolution = 각도 해상도

a 이미지는 FoV, 사출 동공 또는 출사동, 아이박스, 각도 해상도 및 수렴-조절 불일치에 관한 이미지입니다.

b의 경우에는 AR에 사용되는 디스플레이의 일반적인 구조를 보여줍니다.

일반적인 실내 환경은 30니트에서 150니트까지의 밝기를 갖고, 야외에서는 흐린 날 300니트, 맑은 날에는 3000니트까지 가집니다.

AR 디스플레이에 있어서 최소 ACR(ambient contrast ratio, 주변 명암비)은 인식할 수 있을 정도가 되기 위해서는 3배의 밝기를 가져야 하고, 판독성을 위해서는 5배, 뛰어난 판독성을 위해서는 10배 이상의 밝기를 가져야합니다.

즉, 모든 손실을 고려하지 않고 화창한 날에 밖에서 AR 글래스를 사용 할 경우 ACR을 10:1로 가져야 하며, 최소 3만 니트이상의 밝기를 가진 디스플레이를 사용해야 합니다.

타협과 해결법

우선, 큰 FoV를 가지려고 한다면, 적용된 디스플레이 해상도에 비해서 더 낮은 각도 해상도를 갖게 됩니다. (화면을 넓게 늘려서 보여주는것과 비슷한 이치입니다. 예를 들자면 24인치 FHD 디스플레이와 32인치 FHD 디스플레이를 보면 같은 넓이의 영역을 보았을때 32인치쪽의 픽셀 밀집도가 낮다고 생각할 수 있습니다.)

결국 높은 해상도로 렌더링하고 보여주지만 이미지 품질적인 손해가 있습니다. 이론적으로 이 문제를 극복하려면 해당 MTF(Modulation Transfer Function)를 지원하는 고품질 광학 장치와 함께 고해상도 디스플레이 소스만 있으면 됩니다.

사람들의 시력은 보통 60 PPD(각도 당 해상도)를 가지며, 이는 일반적인 VR / AR 기기들의 목표입니다.

만일 100 FoV, 60 PPD(각도 당 해상도)의 VR 기기를 만들기 위해서는 한쪽 눈 당 6K 가량의 해상도가 필요합니다.하지만 안경 또는 HMD의 사용성을 고려하면 디스플레이를 작게 만들면서도 높은 화소 수를 달성하기란 어려운 현실입니다.

여기서의 해결법은 이미 Varjo가 사용하고 있는 방식으로도 볼 수 있습니다.

중요한 것은, 인간의 눈은 FoV의 약 10도를 갖는 중앙부에만 시력이 높다는 것입니다.

그렇기때문에 중앙부에는 고해상도의 디스플레이를 채용하고, 주변부는 비교적 저해상도의 디스플레이를 사용하여 디스플레이의 공간을 다중화할 수 있고, 광학적인 경로를 일시적으로 변경하여 해당되는 FoV에 서로 다른 확대 계수를 만들어 시간 다중화도 구현 가능합니다. (저도 사실 옮겨오면서도 자세하게 무슨 뜻인지는 잘 모르겠지만 대충 어느 정도의 느낌이라는건 알겠습니다.)

이 해결법을 사용하면 2k 화질의 마이크로 디스플레이로도 적절한 요구 스펙을 만족 할 수 있습니다.

다른 문제로써는 높은 FoV 또는 큰 아이박스의 크기를 얻으려고 하면 밝기가 낮아지고 ACR 또한 낮아지게 됩니다. 그렇기때문에 고 휘도 디스플레이가 필요하기도 합니다.

그 외에는 광학적인 손실, 렌즈와 관련된 기존의 기하학적 광학의 문제점 등이 있으며, 이를 해결하기 위해 회절 광학이 사용됩니다.

렌즈와 디스플레이 폼팩터

현재의 주류 VR 헤드셋은 일반적인 안경보다 부피가 상당히 크면서도 대부분의 공간은 비어있는 상태입니다. 이는 디스플레이 패널과 광학 장치 사이에 일정한 거리가 필요하기때문이며 이 거리는 대부분 렌즈 시스템의 초점 거리에 가깝습니다.

기존의 VR 헤드셋은 초점 길이가 최대 4cm인 투과 렌즈를 채용해 높은 FoV와 아이박스 등을 제공합니다. 프레넬 렌즈는 기존 렌즈보다 얇지만 렌즈와 패널 간 거리는 크게 달라지지 않습니다. 또한 프레넬의 홈에 의해 발생하는 회절 아티팩트와 빛(흔히 말하는 갓레이)은 영상 화질, 즉 MTF를 저하시킬 수 있습니다. 현재 VR 헤드셋의 PPI(인치당 픽셀)로 정량화된 각도 해상도 밀도는 여전히 프레넬 렌즈의 가능성보다 부족하지만, 결국 현재보다 높은 PPI 디스플레이를 이용할 수 있을 때 프레넬 렌즈는 이상적인 솔루션이 될 수 없을 것입니다.결국 프레넬 싱글릿의 강한 색수차 또한 문제가 되며 높은 화질의 영상을 원한다면 색 수차를 보상해주는 시스템이 필요합니다.

그림의 b와 같은 새로운 구역 렌즈 방식의 경우, 기존의 위상 프레넬 렌즈가 위상 재설정에 따라 구역을 나눴다면 이 접근법은 그룹 지연 리셋에 따라 구역을 나눕니다. 이렇게 하여 렌즈의 개구수를 크게 확대할 수 있으며 렌즈는 얇아집니다. 또한 그룹 지연 한계는 우회 가능해집니다.

그림의 c와 같은 경우에는 개구수를 줄이지 않고 시스템 초점 길이를 줄일 수 있습니다.

렌즈 배열과 디스플레이 패널 모두 곡선 구조를 이용하고 하나의 렌즈가 아닌 여러개의 렌즈를 나열한 형태입니다. 각 렌즈의 기하학적 구조를 각각의 위치에 맞게 최적화 하여 높은 영상 화질을 갖으면서도 왜곡이 줄어든 성능을 구현합니다.

시스템 초점 길이를 줄이는것 외에 전체적인 경로 자체를 줄이는 또 다른 방법은 광학 경로를 접는 것입니다. 최근에는 팬케이크라는 이름으로 알려진 양극화 기반 접이식 렌즈입니다.

그림 d의 경우 디자인에 있어서 자유도가 더 높고 실제 광 경로의 경우 3번 접기 때문에 컴팩트한 폼 팩터로 더 나은 영상 성능을 제공할 수 있습니다. 

양의 힘을 가진 반사면을 사용함으로써 양의 굴절 렌즈의 상면 만곡을 보정할 수 있고, 반사 표면은 색수차가 없으며 시스템에 상당한 광학적인 메리트를 가져옵니다. 따라서 굴절 렌즈의 광학적 힘이 작아져 색수차가 훨씬 약해질 수 있습니다. 프레넬 렌즈에 비해 팬케이크 렌즈는 표면이 매끄럽고 회절 아티팩트와 빗나간 빛이 훨씬 적습니다. 빗나간 빛이 적다는 것은, 갓레이라고 불리는 빛 번짐 현상이 줄어든다는 것입니다.

그러나 이러한 팬케이크 렌즈 디자인도 완벽하지 않은데, 그 중 중요한 단점은 낮은 광효율입니다. 하프 미러에 두 번의 빛의 입사가 일어나기 때문에, 최대 시스템 효율은 편광 입력의 경우 25%, 비편광 입력의 경우 12.5%로 제한됩니다. 더욱이 시스템에 여러 개의 표면이 존재하기 때문에 표면 반사와 양극화 유출로 인한 표류광은 명백하게 고스트 이미지로 이어지기 쉽습니다. 결과적으로, 반사 굴절 팬케이크 VR 헤드셋은 대개 일반적인 VR보다 어두운 이미지와 낮은 대비를 갖게 됩니다.

이에 따라 해당 방식의 경우 높은 휘도를 가지는 디스플레이가 필요합니다.

흥미롭게도 렌즈릿과 팬케이크 광학 장치를 결합하여 시스템 형태를 더욱 줄일 수 있습니다. 그림 e를 보면 팬케이크 광학과 배열된 프레넬 렌즈를 혼합하여 사용하고 있습니다. 팬케이크 광학 장치는 디스플레이 패널과 렌즈 배열 사이의 경로를 접고, 또 다른 프레넬 렌즈는 렌즈 배열에서 빛을 모으는데 사용됩니다. 이 시스템은 102도의 적당한 수평 FoV와 8mm의 아이박스를 가지고 있습니다.

https://ee.snu.ac.kr/community/news?bm=v&bbsidx=51168

이 기술은 서울대에서 구현하여 한때 뉴스를 타곤 했습니다.

카타디옵트릭 VR 헤드셋의 모든 기존 광학 장치를 홀로그램 광학 장치로 교체하면 전체 시스템을 훨씬 더 얇게 만들 수 있습니다. 

https://dl.acm.org/doi/10.1145/3386569.3392416

그림 f에 해당되는 것으로써, 반사형 PPHOE, 반사형 LCHOE, 레이저 조명이 있는 PPHOE 기반 방향 백라이트 등 신기술이 결합하여 가능한 것입니다. 모든 광학적인 힘은 가벼운 무게와 작은 부피를 가진 HOI에 의해 이루어집니다.결과적으로는 총 물리적 두께를 10mm 이하로 줄일 수 있습니다. 또한 HOI의 광전력은 두께와 상관없습니다.

이는 페이스북 리얼리티 랩에서 발행한 자료입니다.

AR 구현법에 대한 이미지들만 가져와봅니다.

기하학적 광학 설계를 기반으로 한 AR 결합기들

Maxwellian-type AR 결합기

동공에서 이미징 합니다. 눈 렌즈의 초점과 관계없이 망막에 항상 초점이 맞춰져 있습니다.

핀 라이트 디스플레이

Maxwellian에서 큰 DoF를 가져오면서 FoV와 아이박스를 크게 확장합니다. 다만 이미지 균일성에 문제가 있습니다.

회절 도파관 결합기

빛을 회절시켜서 상을 만들어냅니다.

회절 도파관의 아티팩트. (결점)

B는 고스트 이미지.

C는 무지개 현상을 보여줍니다.

기하학적 도파관 결합기

다중화된 PPHOE를 사용하여 기울어진 거울의 동작을 모방합니다.

비스듬한 거울 도파관 결합기

AR 결합기 비교