https://kguttag.com/2023/08/05/apple-vision-pro-part-5a-why-monitor-replacement-is-ridiculous/amp/



소개

Apple 비전 프로(1부)에서 Apple 비전 프로에 대한 언론 보도와 관련하여 쓴 것처럼, "안타깝게도 가상 현실과 증강 현실의 문제에 대한 기술적 분석은 거의 없었고, 깊은 지식을 가진 사람도 거의 없었습니다. 적어도 제가 보기에 명백한 문제와 의문점에 대해서는 언급하지 않았습니다."


저는 지난 한 달 동안 VR 헤드셋, 심지어 Apple의 헤드셋이 물리적 모니터를 대체할 것이라고 생각하는 것이 왜 말도 안 되는지 정량화하기 위한 기사를 작성했습니다. 기사를 작성하면서 많은 배경 자료와 기타 정보를 설명의 일부로 포함해야 할 필요성을 느꼈습니다. 기사가 길어지면서 두 부분으로 나누기로 결정했고 이것이 첫 번째 부분입니다.


가장 근접한 헤드셋이고 모니터 교체용이라고 주장하며 유사한 팬케이크 옵틱을 사용하기 때문에 메타 퀘스트 프로(MQP)를 사용하여 문제를 시연할 것입니다. 그런 다음 이 결과를 더 높지만 여전히 불충분한 해상도를 가진 Apple Vision Pro(AVP)로 변환해 보겠습니다. AVP는 MQP와 동일한 문제를 모두 해결해야 합니다.


워드 프로세싱, 스프레드시트, 프레젠테이션, 인터넷 브라우징을 포함한 오피스 애플리케이션은 텍스트를 처리하는 것을 의미합니다. 이 글에서 설명하겠지만, 텍스트는 항상 선명도와 가독성을 향상시키기 위해 약간의 '치팅'(그리드 맞춤을 위한 '힌트')이 있는 특수한 경우로 취급되어 왔습니다. 이 문서에서는 가상 모니터를 3D 공간에 맞추려고 할 때 발생하는 해상도 문제도 다룹니다.


이 글에서는 텍스트 가독성에 집중하기 위해 VR에서 고정 모니터를 시뮬레이션하려고 할 때 발생하는 다른 많은 인적 요인 문제에 대한 불신을 잠시 접어두겠습니다.




애플 비전 프로로 매우 낮은 픽셀당 화소수(ppd)의 백 투 더 퓨쳐




이 기사를 작성하면서 1980년대 중반 최초의 완전 프로그래밍 가능 그래픽 프로세서인 TMS34010의 기술 리더였던 시절에 배운 교훈이 떠올랐습니다. TMS340 개발은 1982년에 시작되었는데, 당시에는 Apple 매킨토시(1984년)나 Lisa(1983년)가 존재하기 전이었습니다(픽셀당 1비트에 불과했죠). 하지만 이러한 제품들과 마찬가지로 34010에 대한 저의 작업은 제록스 PARC의 영향을 받았습니다. 당시에는 매우 고가의 CAD 및 CAM 시스템에만 '비트맵 그래픽'이 있었고, 모든 PC/가정용 컴퓨터 텍스트는 단일 크기와 단일 간격이었습니다. 컬러 그래픽(~320×200픽셀)의 경우 해상도가 매우 낮았습니다. IBM은 1987년 최초의 IBM PC 정사각형 픽셀 컬러 모니터인 VGA(640×480)와 XGA(1024×768)를 출시했습니다.



당시 '고해상도'로 간주되던 오리지널 XGA 모니터는 대각선 길이가 16인치, 픽셀 수가 82ppi로, 0.5m에서 0.8m(일반적인 모니터 시청 거리)에서 각각 36~45ppd(도당 픽셀 수)로 환산됩니다. 예상 시야각과 해상도를 고려하면 Apple Vision Pro는 35~40ppd로 1987년형 모니터와 거의 동일합니다.


이제 DeLorean의 먼지를 털어내고 1980년대 중반의 미래와 낮은 ppd 디스플레이의 기술적 문제로 돌아가야 할 때입니다. 1980년대에는 사용자의 머리가 움직일 때 모니터가 움직이지 않는 것처럼 보이도록 3D 공간의 모든 것을 리샘플링/리스케일링할 필요가 없었기 때문에 이번에는 더 심각합니다.


1980년대 컴퓨터 그래픽과 GPU에 대한 자세한 내용은 부록 1: 비트맵 글꼴과 다중 모니터를 사용한 1980년대 나의 역사를 참조하세요.



질문은 "사람들이 할 수 있을까?"가 아니라 "사람들이 할 것인가?"입니다.


애플과 메타는 마케팅과 이미지(아래)를 통해 자사의 헤드셋이 모니터 대체품으로 작동할 것이라고 제안합니다. 예, 절박하고 다른 방법이 없는 경우 모니터로 "작동"하겠지만 끔찍한 모니터를 여러 개 사용하는 것은 많은 사람들이 원하는 솔루션이 아닙니다. 이러한 마케팅 개념은 각 가상 모니터의 유효 해상도가 낮아 텍스트를 읽을 수 있도록 확대해야 하므로 모니터당 콘텐츠가 줄어든다는 사실을 전달하지 못합니다. 또한 텍스트가 거칠고 반짝거린다는 점도 전달하지 못합니다(이에 대해서는 잠시 후에 자세히 설명합니다).



메타 퀘스트 프로(왼쪽)와 애플 비전 프로(오른쪽)는 비슷한 다중 모니터 개념을 가지고 있습니다.


아래는 MQP의 Horizons 가상 데스크톱을 렌즈를 통해 촬영한 사진입니다. 최상의 이미지 품질을 위해 카메라를 중앙에 두고 왼쪽 눈의 광학 장치를 통해 촬영했으며 양안 시야각의 왼쪽을 더 많이 보여주었습니다. 왼쪽 눈의 거의 모든 수평 시야각이 사진에 표시되어 있지만 카메라가 위쪽과 아래쪽을 약간 잘라냈습니다.


MQP Horizon 데스크톱 - 왼쪽 눈 광학 장치를 통한 영상(카메라 FOV 80°x64°)


아래는 왼쪽에 34인치 22:9 3440×1400 모니터, 오른쪽에 27인치 4K 모니터를 설치한 제 데스크톱 설정입니다. 두 모니터의 합산 비용은 현재 1,000달러 미만입니다. 22:9 모니터 디스플레이 설정은 100% 배율(Windows 디스플레이 설정에서)이며 스프레드시트에는 11pt 글꼴이 사용됩니다. 오른쪽 모니터는 150% 배율로 설정되어 있으며 물리적으로 동일한 크기의 11pt 글꼴로 글꼴을 네팅합니다.


제 사무실 환경 - 34인치 22:9 3440×1440(110 PPI) 와이드스크린(왼쪽) 및 27인치 16:9 4K(163 PPI) 모니터(오른쪽)


0.5~0.8미터(일반적인 데스크톱 모니터 거리) 떨어진 곳에 앉았을 때, MQP의 "11pt"가 각도상으로는 약 1.5배 더 크지만(카메라로 측정한 결과) 150% 스케일링이 적용된 Meta Quest Pro의 11pt 글꼴보다 실제 모니터의 11pt 글꼴이 훨씬 더 읽기 쉽다고 판단했습니다. MQP의 텍스트는 더 흐릿하고 입자가 굵으며 번쩍거리고 반짝입니다. 34인치 22:9 모니터에서는 6배 이상, 27인치 4K에서는 4배 이상 가독성이 높은 텍스트를 MQP로 볼 수 있었습니다. 각 해상도가 높을수록 AVP는 MQP보다 더 좋지만 여전히 가독성 있는 텍스트의 양에는 훨씬 못 미칩니다.


창 배율에 대한 참고 사항




창에서 100%는 이론적으로 인치당 96개의 도트를 의미합니다. Windows는 모니터가 보고한 정보(이 경우 MQP의 소프트웨어에서)를 고려하여 "스케일 및 레이아웃" 권장 사항(오른쪽)을 제공합니다. MQP의 Horizon 가상 모니터가 Windows에 보고한 해상도는 1920×1200이며, 권장 배율은 150%였습니다. 이 설정은 100% 또는 175%라고 표시된 사진을 제외한 대부분의 사진에 사용했습니다.


글꼴 "포인트"가 정의되는 방식에 대한 자세한 내용은 부록 3: With 픽셀로 서체 "포인트"(pt) 변환하기 - 간략한 역사를 참조하세요.




광학



VR 광학의 모든 문제점을 다루지는 않겠으며, 이 글에서는 오피스 애플리케이션에서 텍스트를 읽을 수 있는 기능에 대해 다뤄보겠습니다. VR 광학은 비용, 공간, 무게, 넓은 시야각 측면에서 많은 제약이 있습니다. 팬케이크 광학은 일반적인 프레넬 렌즈에 비해 크게 개선되었지만, 현재까지도 광학적으로 열악합니다(AVP에 대해서는 더 지켜봐야 합니다).


FOV 중앙은 나쁘지 않지만 일반적으로 핀쿠션 왜곡과 크로마(색수차)가 심합니다. 팬케이크 광학은 빛을 모으거나 산란시키는 경향이 있어 어두운 배경에서 물체가 빛나고 대비가 감소하며 고스트(아웃포커스 반사)가 발생하기 쉽습니다. 저는 팬케이크 옵틱스와 이러한 문제에 대해 메타(일명 페이스북) VAC용 캠브리아 전기 제어식 LC 렌즈에서 논의했습니다. 컴퓨터 모니터에는 이러한 문제를 일으킬 수 있는 광학 장치가 없습니다.



광학 왜곡



메타 퀘스트 프로(1부) - 믿을 수 없을 정도로 나쁜 AR 패스스루에서 설명한 것처럼, 메타 퀘스트 프로는 눈의 두 디스플레이를 최대 20° 회전하여 코가 보이지 않게 합니다. 광학 장치도 핀쿠션 왜곡이 매우 큽니다. MQP의 디스플레이 프로세서는 디스플레이 광학의 심한 핀쿠션 왜곡을 디지털 방식으로 사전 보정합니다. 이 보정 작업으로 인해 리샘플링 과정에서 약간의 충실도가 손실됩니다.


오른쪽 상단 이미지는 디스플레이로 전송되는 비디오 피드를 보여줍니다. 오른쪽 아래 이미지에서 왜곡과 회전이 디지털 방식으로 보정되었지만 다른 광학 문제는 표시되지 않습니다(이 아트 클리어의 렌즈 투과 사진 참조).


또한 왼쪽 및 오른쪽 눈 디스플레이에 각각 청록색 및 빨간색 점선으로 표시된 광학적인 '크롭'이 있습니다. 표시된 광학 크롭은 제가 관찰하고 촬영한 사진을 기반으로 한 것입니다.


사전 왜곡 보정은 확실히 이미지 품질을 떨어뜨릴 것입니다. 유사한 팬케이크 옵틱을 사용하는 AVP도 사전 보정에 대한 요구 사항이 비슷할 것입니다. MQP 디스플레이는 회전되지만(AVP에는 언급이 없음), 모니터를 고정된 것처럼 보이게 하는 데 필요한 3D 공간의 변환을 포함하여 다른 변환/리스케일링이 너무 많아서 회전이 별도의 변환으로 수행되지 않고 결합되면 디스플레이의 회전이 해상도에 미치는 영향은 무시할 수 있습니다. 3D 공간에서 변환할 경우 광학 품질 왜곡과 텍스트 해상도 손실이 더 큰 문제입니다.



양안 겹침과 경쟁


양안 시스템으로 전체 시야각을 개선하는 방법 중 하나는 왼쪽 눈과 오른쪽 눈의 시야각이 부분적으로만 겹치도록 하는 것입니다(아래 그림 참조). 스테레오 증강 현실 디스플레이의 시야 최적화를 위한 지각 가이드라인 문서와 양안 겹침의 이해 및 VR 헤드셋에 양안 겹침이 중요한 이유 문서에서는 양안 겹침('스테레오 겹침'이라고도 함)의 문제에 대해 설명합니다. 대부분의 광학 AR/MR 시스템은 전체 또는 거의 전체가 겹치는 반면, VR 헤드셋은 부분적으로 겹치는 경우가 많습니다.



부분 겹침은 양쪽 눈을 결합할 때 전체 시야각을 증가시킵니다. 부분 오버랩의 문제는 한 쪽 눈의 시야각이 다른 쪽 눈의 시야각의 중간에서 끝나는 경계에서 발생합니다. 한쪽 눈은 이미지가 검은색으로 페이드아웃되는 반면 다른 쪽 눈은 이미지를 볼 수 있습니다. 이것은 생안 경쟁의 한 형태이며, 보이는 것을 분류하는 것은 시각 피질에 맡겨집니다. 시각 피질은 대부분 바람직한 방식으로 분류하지만 인공물이있을 수 있습니다. 대부분의 경우 시각 피질은 더 밝게 보이는 눈을 선택하지만(즉, 피질은 한 쪽을 선택하고 평균을 내지 않음), 전환 영역에 문제가 있을 수 있습니다. 또한 집중하는 위치에 따라 보이는 것/인지되는 것에 영향을 미칠 수 있습니다.


MQP의 경우, 시작 위치에서 봤을 때 양안 겹침 영역이 메타 호라이즌 데스크톱의 중앙 모니터 너비보다 약간 작습니다. 왼쪽 아래는 양안 시야각에서 모니터를 중앙에 배치했을 때 왼쪽 눈을 통해 바라본 시야를 보여줍니다.




중앙에 있는 셀에 집중할 때는 문제를 느끼지 못했지만 전체 이미지를 보면 특히 이미지의 밝은 부분에서 이러한 고리를 볼 수 있습니다.  



메타 퀘스트 2는 겹치는 부분이 훨씬 더 많은 것으로 보입니다. 왼쪽은 왼쪽 눈을 통해 바라본 이미지로, 카메라 위치가 MQP(왼쪽 위)와 비슷하게 배치되어 있습니다. 왼쪽 눈의 시야각이 홀 중앙 모니터와 어떻게 겹치는지 주목하세요. 메타 퀘스트 2에서는 MQP에서와 마찬가지로 전환 "링"을 느끼지 못했습니다.


양안 시야각 겹침은 VR 회사들이 명시하고 싶어하는 요소 중 하나가 아니며, 오히려 더 큰 시야각에 대해 이야기하고 싶어합니다.


AVP의 경우 광학장치의 양안 겹침이 어느 정도인지, 가상 모니터의 시야에 영향을 미치는지 살펴보는 것이 흥미로울 것입니다. 오버랩이 "일반적인" 가상 모니터의 너비보다 더 크면 좋겠지만, AVP의 마케팅 자료에서 제안한 것처럼 모니터가 임의의 크기이고 3D 공간의 어느 곳에나 배치될 수 있다면 "일반적인"이란 무엇을 의미할까요?



가상의 가로 방향 모니터를 비문하면 헤드셋 세로 픽셀의 약 절반을 사용합니다.



MQP의 데스크톱은 모니터를 고정된 상태로 유지하면서 가상 모니터를 VR FOV에 새길 때의 기본적인 문제를 보여줍니다. 모니터를 잘라내지 않고 머리를 움직일 수 있는 약간의 여유가 있는데, 이는 산만할 수 있습니다. 또한 모니터를 차단하는 양안 오버랩은 위에서 설명했습니다.


더 자세히 설명한 대로 MQP는 16:10 화면비, 1920×1200픽셀 "가상 모니터"(Windows에 보고하는 크기)를 사용합니다. 여러 개의 가상 모니터는 MQP의 1920×1800 물리적 디스플레이에 매핑됩니다. 데스크톱에 앉아 정면을 바라보면 중앙 모니터와 두 개의 측면 모니터 중 약 30%가 보입니다.


중앙 모니터의 중앙에는 약 880픽셀이 사용되며, 이는 QP의 물리적 디스플레이 세로 픽셀 1800픽셀의 약 절반에 해당합니다. 중앙 모니터는 약 1.5미터(5피트) 거리, 즉 일반적인 컴퓨터 모니터의 약 2~3배 거리에서 작동합니다. 따라서 "헤드 줌"(이미지를 더 크게 보기 위해 몸을 기울이는 것)이 효과적이지 않습니다.


Apple의 AVP도 FOV가 비슷하기 때문에 가상 모노를 장착할 때 비슷한 제한이 있습니다. 사용자가 머리를 어느 정도 움직일 때 모니터 전체를 보여주면서 모니터 측면이 잘리지 않도록 하는 불가피한 타협점이 있습니다.



단순화된 배율 예시 - 픽셀 크기 도트 렌더링하기


일반적으로 가독성이 좋은 텍스트에는 고해상도, 고대비, 문자 "i"의 획 및 점과 같이 폭이 1픽셀 정도인 특징이 많이 있습니다. 3D 공간에서 단일 픽셀 크기의 점을 그릴 때 발생하는 몇 가지 문제점을 설명합니다.


모든 3D 변환을 거친 후 약 1픽셀 크기의 작은 원형 점을 그린다고 가정해 보겠습니다. 아래 그림에서 픽셀 경계는 파란색 선으로 표시되어 있습니다. 아래 그림의 네 열은 렌더링된 점과 픽셀 그리드 사이의 무한한 수의 관계 중 일부를 보여줍니다.


첫 번째 행은 그리드를 기준으로 4개의 점을 보여줍니다. 두 번째 행에서는 중심을 기준으로 가장 가까운 픽셀이 켜져 있습니다. 세 번째 행에서는 단순 평균을 사용하여 4개 픽셀의 평균이 한 픽셀의 밝기와 같아야 하는 픽셀을 그립니다. 네 번째 행은 가상 도트의 저역 통과 필터를 보여줍니다. 다섯 번째 행은 저역 통과 필터링된 도트 버전의 평균값을 기준으로 픽셀을 렌더링합니다.



중심 방식은 가장 선명하고 점의 크기를 동일하게 유지하지만 머리를 조금만 움직여도 위치가 이리저리 흔들리는 경향이 있습니다. 많은 점이 하나의 물체를 형성하면 모양이 흔들리는 것처럼 보입니다. 단순 평균을 사용하면 "질량 중심"이 중심 방법보다 더 정확하지만 정렬/움직임에 따라 도트의 모양이 크게 달라집니다. 저역 통과 필터 방식의 평균은 질량 중심 측면에서 더 정확하고 정렬에 따라 모양이 덜 변하지만, 이제 단일 픽셀 크기의 원이 9픽셀에 걸쳐 흐릿해집니다.


리샘플링/스케일링에는 여러 가지 변형이 있지만 모두 장단점이 있습니다. 가장 먼저 고려해야 할 사항은 흔들림(모양과 위치의 변화)과 선명도 사이의 절충점입니다. Apple Vision Pro를 비롯한 낮은 ppd 디스플레이에서 렌더링되는 텍스트의 가장 큰 문제는 마침표부터 글자의 점, 작은 텍스트 글꼴의 획 너비에 이르기까지 많은 기능이 1픽셀에 가깝다는 점입니다.


텍스트 크기 조정 - 40년 이상의 컴퓨터 온트 그리드 피팅("치팅") 노출

처음부터 개인용 컴퓨터는 인치당 픽셀 수가 낮은 모니터를 사용해 왔으며, 이는 일반적인 시청 거리에 따라 도당 픽셀 수가 낮다는 의미로 해석할 수 있습니다. 텍스트는 세밀한 디테일로 가득하고 가로 및 세로 획이 완벽한 경우가 많기 때문에 오늘날의 높은 PPI 모니터에서도 픽셀 정렬 문제가 발생합니다. 텍스트는 매우 중요하고 흔하기 때문에 특별한 대우를 받습니다. 누구나 텍스트를 더 보기 좋게 만들기 위해 '치트'를 사용합니다.


글꼴을 너무 크게 만들어서 눈을 많이 움직여야 단어를 읽을 수 있고, 한 화면에 적은 정보로 콘텐츠의 밀도를 낮추지 않으면서도 글꼴을 알아볼 수 있어야 합니다. 글꼴이 크면 디스플레이당 표시되는 콘텐츠가 줄어들고 눈의 움직임이 많아져 근육이 피로해집니다.


1980년 초중반에 PC는 거칠어 보이는 고정된 공간을 비례에 맞는 간격의 텍스트와 세심하게 수작업으로 제작된 글꼴로 바꾸었고, 몇 가지 글꼴 크기만 사용할 수 있었습니다. 글꼴 가장자리도 매끄럽게 처리(앤티앨리어싱)하여 보기 좋게 만들었습니다. 오늘날 대부분의 글꼴은 픽셀 그리드에서 글꼴이 더 잘 보이도록 도와주는 '힌트'가 있는 모델에서 렌더링됩니다. 원래 Apple에서 Adobe에 로열티를 지불하기 위한 해결 방법으로 개발한 트루타입은 Apple과 MS Windows에서 모두 사용되며 그리드 피팅을 위한 글꼴 정의에 "힌트"를 포함합니다(참조: Windows 힌트 및 Apple 힌트).



그리드 맞춤은 간단히 말해 글꼴의 모양과 위치(세로 및 가로 간격)를 약간 수정하여 글꼴의 가로 및 세로 획이 픽셀 그리드에 맞도록 하는 것입니다. 이렇게 하면 글꼴이 들쭉날쭉해 보이지 않고 스무딩/안티앨리어싱이 덜 필요합니다. 컴퓨터 모니터 픽셀은 직사각형 그리드에 있고 대부분의 텍스트 애플리케이션에서 글꼴은 가로줄로 그려지기 때문에 이 방법이 효과적입니다.


거의 모든 글꼴 렌더링은 그리드에 맞게 렌더링되며, 일부만 그리드에 맞게 렌더링됩니다(Windows 및 Mac OS X의 글꼴 렌더링 철학 2 07에서 참조). Apple(및 Adobe)은 역사적으로 낮은 PPI 모니터에서 글꼴 선명도와 가독성을 어느 정도 희생하면서까지 텍스트 크기와 간격을 더 정확하게 유지하려고 노력해 왔습니다(더 높은 PPI 모니터를 구매하기를 기대하는 Apple에게는 쉬운 해결책입니다). 클리어타입을 사용하는 MS Windows와 LCD 글꼴 다듬기 기능을 사용하는 Apple은 빨강-초록-파랑 하위 픽셀을 나란히 배치한 LCD를 활용하여 글꼴을 더욱 개선할 수 있는 옵션이 있습니다.


하지만 모니터가 가상화되면 이 전체 그리드 피팅 방식은 무너지게 됩니다. 수평 및 수직 스트로크가 대각선으로 변합니다. 그리드 피팅이 작동하지 않기 때문에 같은 크기의 글꼴을 비슷한 선명도로 표시하려면 가상 모니터의 디스플레이는 실제 모니터보다 각도 해상도가 훨씬 높아야 합니다. 하지만 현재와 가까운 미래에도 VR 디스플레이의 해상도는 훨씬 낮습니다.


글꼴 "포인트"의 정의와 Windows 및 Mac에서의 글꼴 "포인트"의 역사에 대한 자세한 내용은 부록 3: With Pixels로 글꼴 "포인트"(pt) 이해하기 - 간략한 역사를 참조하세요.


3D 공간에 고정된 가상 모니터는 "픽셀 그리드"를 깨뜨립니다.


머리를 조금만 움직여도 모든 것이 다시 렌더링되지 않습니다. 텍스트를 렌더링하려는 '그리드'는 가상 모니터가 아니라 헤드셋 디스플레이의 그리드입니다. 최소한 두 가지 주요 접근 방식이 있습니다:


  1. 매 프레임마다 모든 것을 처음부터 다시 렌더링 - 이론적으로 최상의 이미지 품질을 제공하지만 프로세서를 많이 사용하며 대부분의 레거시 애플리케이션에서는 지원되지 않습니다. 간단히 말해, 이러한 애플리케이션은 모든 것을 가상으로 그리는 것이 아니라 고정된 크기와 방향의 물리적 픽셀로 그리도록 구조화되어 있습니다.
  2. 가능하면 "더 높은" 해상도로 렌더링한 다음 헤드셋의 물리적 픽셀에 맞게 스케일링합니다.
    • 렌더링이 동일한 영역을 커버하는 헤드셋의 물리적 픽셀의 최소 2배(선형적으로는 4배)가 되어야 축소 프로세스 후 이미지 품질이 크게 저하되는 것을 방지할 수 있습니다.
    • 고해상도 가상 이미지는 3D 공간에서 가상 모니터의 표면(곡면일 수 있음)으로 변환됩니다. 사용자가 여러 대의 모니터를 여기저기 배치하여 모든 각도와 거리에서 볼 수 있는 경우 가상 모니터 처리가 복잡해질 수 있습니다. 각 가상 모니터에 필요한 렌더링 해상도는 눈으로부터의 가상 거리에 따라 달라집니다.
    • 이러한 접근 방식에도 불구하고 40년 이상 고정 픽셀 그리드를 사용해 온 PC의 레거시에서 비롯된 '애플리케이션 문제'가 있습니다.
    • 그리드 스트레칭(글꼴 힌트)은 실제 디스플레이가 아닌 가상 디스플레이로 스트레칭되기 때문에 비생산적이 됩니다.

결국 시스템은 "새로운" 3D 애플리케이션과 레거시 오피스 애플리케이션을 혼합한 두 가지 접근 방식의 하이브리드를 사용하게 될 것입니다.


가상의 가로 지향 모니터를 인그레이빙하면 헤드셋 세로 픽셀의 약 절반을 사용합니다.

MQP의 Horizons는 가상 모니터를 렌더링한 다음 원통형 효과와 팬케이크 렌즈 왜곡에 대한 사전 보정과 함께 3D 공간에서 다시 렌더링하는 것처럼 보입니다.



MQP의 데스크톱은 모니터를 고정된 상태로 유지하면서 가상 모니터를 VR FOV에 삽입할 때의 기본적인 문제를 보여줍니다. 모니터를 잘라내지 않고 머리를 움직일 수 있는 여유가 있는데, 이는 산만할 수 있습니다. 또한 모니터를 차단하는 양안 오버랩은 위에서 설명했습니다.


MQP는 16:10 화면비, 1920×1200픽셀 "가상 모니터"를 사용합니다. 여러 개의 가상 모니터가 MQP의 1920×1800 물리적 디스플레이에 매핑됩니다. 데스크톱에 앉아 정면을 바라보면 중앙 모니터와 두 개의 측면 모니터 중 약 30%가 보입니다.


가상 모니터의 중앙에는 약 880픽셀이 사용되며, 이는 MQP의 물리적 디스플레이 세로 픽셀 1800픽셀의 약 절반 또는 데스크톱에서 사용할 때 Windows에 보고되는 세로 픽셀 1200픽셀의 64%에 해당합니다.


중앙 모니터는 약 1.5m(5피트), 즉 일반적인 컴퓨터 모니터의 약 2~3배 거리에 있는 것처럼 작동합니다. 따라서 '헤드 줌'(이미지를 크게 보기 위해 고개를 숙이는 것)의 효과가 훨씬 떨어집니다(2~3배 정도).


Apple의 AVP는 FOV가 비슷하며 가상 모니터를 장착할 때 비슷한 제한이 있습니다. 사용자가 고개를 약간만 움직여도 모니터 전체를 보여주는 것과 모니터 측면이 잘리지 않도록 하는 것 사이에는 불가피한 타협점이 있습니다.


사전 왜곡 보정은 확실히 이미지를 손상시킬 것입니다. 유사한 팬케이크 옵틱을 사용하는 AVP도 비슷한 사전 보정이 필요할 수 있습니다(전부는 아니더라도 대부분의 VR 옵틱은 핀쿠션 왜곡이 심각하며, 이는 넓은 FOV를 지원하려고 할 때 발생하는 부작용입니다). MQP 디스플레이는 회전하여 코를 비웁니다(AVP에는 단어가 없음). 그러나 이는 다른 변환에 적용될 수 있으며 처리 요구 사항이나 이미지 품질에 큰 영향을 미치지는 않을 것입니다.


텍스트 크기 조정의 간단한 예


아래 이미지는 두 줄의 텍스트와 1픽셀 및 2픽셀 너비의 선이 있는 테스트 패턴의 한 셀로, 크기 조정 과정의 시뮬레이션(포토샵에서)을 보여줍니다. 이 테스트에서는 175% 배율의 11pt 전면을 선택했는데, 이는 Apple Vision Pro에서 100%의 11pt 글꼴과 거의 동일한 픽셀 수를 가져야 합니다. 이 시뮬레이션은 문제를 크게 단순화하지만 픽셀에 어떤 일이 발생하는지 보여줍니다. MQP와 AVP는 가상 세계에서 6도의 프리 옴으로 리샘플링하고 광학으로 왜곡을 사전 보정하는 기능을 지원해야 합니다(MQP의 Horizons의 경우 가상 모니터를 커브 처리).


소스 셀(왼쪽), 시뮬레이션된 64% 스케일링(오른쪽)


  • 사이드노트: 이 테스트 패턴은 편집 후반에 실수로 g와 k 사이에 "j"가 아닌 "i"가 있는 것을 발견했습니다.


픽셀이 600% 확대되었으며(전체 크기 이미지에서) 개별 픽셀을 볼 수 있도록 격자가 표시되었습니다. 오른쪽 상단 소스는 64% 확대되었는데, 이는 데스크톱에 앉았을 때 1920×1200 가상 모니터의 중앙을 확대하는 것과 거의 같은 양입니다. 오른쪽 하단 이미지는 64% 스케일링되고 1° 회전하여 머리 기울기를 시뮬레이션합니다.


시뮬레이션에서 스케일링된 1픽셀 및 2픽셀 너비의 선을 자세히 살펴보면 1픽셀 너비의 선이 2픽셀 선만큼 넓지만 더 어둡게 보이는 것을 알 수 있습니다. 또한 라인마다 동일한 글꼴로 시작했던 것이 회전 없이도 스케일을 조정하면 다르게 보이는 것을 볼 수 있습니다. 렌즈 셀을 통해 보면 글꼴이 컬러 서브픽셀에 표시되면서 글꼴의 품질이 더욱 저하되거나 부드러워집니다.


아래는 컬러 서브픽셀을 볼 수 있을 만큼 충분히 높은 해상도에서 11pt 175% 글꼴이 MQP의 렌즈를 통해 보이는 모습입니다. 글꼴이 다양한 스케일링을 모두 거쳤을 때 글꼴은 상당히 둥글게 처리됩니다. 같은 글꼴을 다른 위치(소수점의 경우 "7")에서 자세히 보면 모든 인스턴스가 다르다는 것을 알 수 있지만, 기존의 물리적 모니터에서는 그리드 피팅으로 인해 모두 동일하게 보입니다.


MQP 175% 스케일 11pt 글꼴


참고로, 전체 테스트 패턴과 가상 모니터의 렌즈 투과 사진은 아래에 나와 있습니다(썸네일을 클릭하면 전체 해상도 이미지를 볼 수 있습니다). 카메라의 노출을 낮게 설정하여 서브픽셀이 날아가서 색이 모두 손실되지 않도록 했습니다.



반짝이는 텍스트


MQP를 볼 때 텍스트가 반짝반짝 빛납니다. 이는 누구도 머리를 완벽하게 가만히 둘 수 없고, 모든 텍스트 문자가 각 프레임에서 물리적 픽셀에 약간씩 다른 정렬로 다시 그려지기 때문에 텍스트가 흔들리고 반짝이기 때문에 발생합니다.


스케일링/리샘플링은 더 선명하게 또는 더 부드럽게 처리하여 수행할 수 있습니다. 안타깝게도 리샘플링 후 이미지가 선명해질수록 움직임에 따라 이미지가 더 많이 흔들리게 됩니다. 이러한 흔들림을 방지하고 선명한 이미지를 얻을 수 있는 유일한 방법은 훨씬 더 높은 ppd를 사용하는 것입니다. MQP는 22.5ppd에 불과하고 AVP는 약 40ppd이며 더 좋아야하지만 문제를 제거하려면 약 80pp (좋은 시력의 한계와 Apple 망막 모니터가 지원하는 것)가 필요할 것이라고 생각합니다.


MQP(및 대부분의 디스플레이)는 개별 빨강, 녹색 및 파랑 하위 픽셀이 있는 공간 색상을 사용하므로 흔들림은 하위 픽셀 수준에서 발생합니다. 아래 그림은 샷 사이에 헤드셋이 약간 움직인 상태에서 동일한 텍스트를 보여줍니다.



아래는 신틸레이션 효과를 보여주기 위해 헤드셋을 샷 사이에 약간 움직이면서 촬영한 두 장의 사진으로 구성된 비디오입니다. 오른쪽의 14pt 글꼴은 Apple Vision Pro의 해상도를 가진 11pt 글꼴과 거의 동일한 픽셀 수를 가지고 있습니다.




두 프레임의 신틸레이션/흔들림 (오른쪽 클릭> "루프" -> 삼각형 재생으로 효과 확인)


결론


QP 및 Apple Vision Pro를 포함한 모든 VR 헤드셋을 컴퓨터 모니터 대체용으로 사용하는 것은 심각한 분석에 실패합니다. 문제를 이해하지 못하고 화려한 짧은 데모에 감탄할 수 있는 사람들에게는 깊은 인상을 줄 수 있으며, 아무것도 없는 것보다는 나을 수 있습니다. 하지만 실제 모니터/디스플레이를 대체하기에는 형편없습니다.


Apple이 40ppd 정도의 헤드셋 디스플레이가 좋은 가상 모니터가 될 것이라고 진지하게 생각한다는 것이 믿기지 않습니다. 미래의 어떤 VR 헤드셋이 80ppd와 100도 이상의 시야각, 선형적으로 AVP의 두 배 또는 4배가 되더라도 여전히 문제가 있을 것입니다.


이 시리즈의 5B부에서는 더 많은 예시와 결론에 대한 내용을 다룰 예정입니다.