출처:
https://kguttag.com/2024/02/16/apple-vision-pros-avp-image-quality-issues-first-impressions/
아까 내가 적었던 비전 프로 렌즈 관련글을 칼 구탁 아저씨가 더 좋은 퀄리티로 더 확실한 사진과 함께 더 좋은 내용을 적어놨네 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
2024년 2월 23일, SID LA 원데이 컨퍼런스 연설
이제 일주일 앞으로 다가온 2024년 2월 23일에 열리는 SID LA 원데이 컨퍼런스에서 연설할 예정임을 다시 한 번 말씀드리고자 합니다. 강연의 주요 주제는 "CES와 AR/VR/MR 컨퍼런스에서 본 흥미로운 혼합 현실 사물"이지만, 제 Apple Vision Pro 경험도 일부 포함할 예정입니다.
소개
저는 종종 "단순한 테스트 패턴은 디스플레이 시스템에서 올바르게 작동하기 가장 어려운 경우가 많은데, 이는 눈으로 무언가 잘못되었다는 것을 알 수 있기 때문입니다."라고 말하거나 글을 쓰곤 합니다. 평면적인 흰색 이미지가 표시되고 흰색이 아닌 색상이 보이면 뭔가 잘못되었다는 것을 알 수 있습니다. 인간은 다양한 흰색 색온도를 포함한 절대적인 색을 판단하는 데는 서툴지만, 눈은 색의 변화에 민감합니다. 아래에서 볼 수 있듯이 Apple Vision Pro(AVP)는 간단한 흰색 디스플레이 테스트에서 실패합니다. 다른 헤드셋만큼 끔찍하지는 않지만 여러분은 흰색 균일도가 떨어지는 최신 TV나 컴퓨터 모니터는 절대 구입하고 싶지 않을 것입니다.
이 글에 사용된 테스트 패턴
해상도를 테스트할 때 가장 간단한 방법은 "라인 쌍"을 올려놓고 적절한 수의 라인이 보이는지, 흐릿한지 확인하는 것입니다. 다시 한 번 말씀드리지만 AVP에 문제가 있습니다. 오늘의 주요 테스트 패턴은 대부분 흰색 이미지와 일련의 선을 결합하여 흰색 균일성, 일련의 수직 및 수평선을 테스트하는 것입니다. AVP는 기본 샘플링 이론에 따라 예상되는 약간 고해상도 콘텐츠도 표시하는 데 심각한 문제가 있지만(Apple Vision Pro (5A부) - 모니터 교체가 어리석은 이유 및 Apple Vision Pro (5C부) - 모니터 교체가 어리석은 이유에서 자세히 설명), AVP의 처리로 인해 예상보다 "비정상적인" 최악의 동작이 발생합니다.
"간단한 사무용 애플리케이션"에서 흔히 발생하는 단순한 2D 이미지는 AVP 또는 모든 헤드셋이 3D 공간에서 고정된 평면 물체로 표시하는 데 가장 어려운 경우가 많습니다. 3D 변환을 처리하는 것 외에도 AVP의 광학은 왜곡이 심하며, 왜곡은 눈의 위치와 방향에 따라 달라집니다. 그 결과 2D 이미지의 모든 픽셀을 최소 한 번 이상 리샘플링해야 하므로 AVP의 디스플레이보다 해상도가 훨씬 낮은 2D 이미지의 경우에도 충실도가 떨어질 수밖에 없습니다.
디지털 이미지 및 신호 처리에 대한 기본적인 지식만 있는 사람이라면 이러한 문제가 근본적인 문제라는 것을 알 수 있습니다. AVP가 특별히 잘못하고 있다기보다는(물론 일부 "잘못된" 동작도 있지만) 광학 보정의 필요성, 기본적인 샘플링 이론, 눈의 해상도보다 낮은 AVP 디스플레이 해상도를 고려할 때 잘 해결할 수 없는 문제라는 것을 알 수 있습니다.
왜곡된 광학 장치
iFixit은 친절하게도 iFixit의 Vision Pro 분해 2부: 디스플레이 해상도는 얼마인가요? 에서 AVP, 디스플레이 및 팬케이크 광학 장치를 빌려주었고, Meta Quest 3 분해 및 VR 수리 가능성의 미래에서 Meta Quest 3 디스플레이 및 팬케이크 광학 장치(Meta Quest Pro 광학 장치와 유사)를 빌려주었습니다. 원형 편광판이 디스플레이 장치에 붙어 있었기 때문에 한 쌍의 REALD형 3D 안경(REALD 안경의 작동 방식은 여기를 참조하세요)에서 원형 편광판을 제거하고 렌즈를 하우징에서 분리하여 스프레드시트 그리드의 MacBook 14 화면(오른쪽, 눈 위치에서 '멀리' 떨어진 곳에서 찍은 사진)의 광학을 통해 사진을 찍었습니다. 사진(오른쪽)은 "멀리" 떨어진 곳에서 촬영한 설정을 보여줍니다.
14인치 Macbook의 AVP(위) 및 MQ3(아래) 광학 장치
(애플 비전 프로의 렌즈 - 퀘스트 3보다 구린걸까? - https://arca.live/b/vrshits/99152187 에서 이야기했던 것처럼 애플 비전 프로에서의 왜곡이 퀘스트 3의 왜곡보다 훨씬 더 심하다는것이 보임)
팬케이크 광학에 대한 자세한 내용과 원형 편광판(선형 편광판과 1/4 파장판)을 추가해야 하는 이유는 Apple Vision Pro(4부) - Hypervision 팬케이크 광학 분석 및 메타(일명 Facebook) VAC용 캠브리아 전기 제어식 LC 렌즈(팬케이크 광학 작동 방식을 설명하는 다이어그램 포함)를 참조하세요. 광학에 관심이 있는 분들을 위해 흥미로운 사실을 하나 더 알려드리자면, AVP와 MQ3 광학은 각각 왼쪽과 오른쪽 원형 편광이 반대편에 필요합니다(다행히도 REALD 타입 안경에는 각각 하나씩 포함되어 있습니다).
iFixit은 광학 장치를 제거한 AVP의 OLED 디스플레이 사진도 촬영했는데, 광학 장치의 왜곡으로 인해 이미지가 렌즈를 통과하기 전 얼마나 많이 보정되어야 하는지를 보여줍니다.
아래는 정사각형 격자가 있는 스프레드시트가 있는 14인치 MacBook Pro M3 Pro 위에 AVP(왼쪽 아래)와 MQP 팬케이크 옵틱을 통해 촬영한 사진입니다. 카메라가 광학 장치에 가깝습니다(가장 넓은 FOV를 얻기 위함). MacBook 픽셀은 AVP 픽셀보다 선형적으로 약 13.33배 더 크거나 최대 178개의 AVP 픽셀이 하나의 MacBook 픽셀 안에 들어갑니다. 또한 디스플레이에서 광학 장치까지의 거리가 정확하지 않았습니다. 따라서 아래 이미지는 광학 왜곡에 대한 대략적인 아이디어만 제공합니다. 이미지를 클릭하면 빨간색, 초록색, 파란색이 분리되어 있는 것을 볼 수 있습니다(색수차). Macbook의 픽셀은 AVP에 비해 매우 크기 때문에 FOV의 대략 바깥쪽 1/3에 여러 개의 AVP 픽셀 크로마 수차가 존재합니다.
AVP 마이크로 OLED 디스플레이의 폭은 약 1.1인치인 반면, MQ3 디스플레이의 폭은 약 1.8인치이므로 동일한 FOV를 위해 AVP를 약 1.6배 더 확대해야 합니다. 따라서 AVP의 광학 장치를 통해 문자 'H'가 더 크게 보입니다. 우리는 선의 왜곡과 글자 크기의 변화율을 찾고 있습니다.
이 이미지는 AVP의 왜곡된 선(빨간색)을 MQ3 위에 오버레이한 것입니다. AVP가 약 1.6배 더 확대되었지만 왜곡은 비슷해 보이는데, 이는 놀라운 성과이지만 거의 모든 VR 광학장치와 마찬가지로 둘 다 여전히 기하학적으로 왜곡이 심합니다.
상대적으로 (메타 퀘스트 프로와 퀘스트 3에 비해) 작은 디스플레이로 넓은 FOV를 지원하기 위해 Apple은 1/4 파장판을 구부리고 광학장치의 눈 쪽에 오목 렌즈를 배치하는 보다 급진적인 접근 방식을 개발했습니다(왼쪽 아래, Hypervision의 흥미로운 분석에서 발췌). 이와 대조적으로 메타 팬케이크(오른쪽 아래)는 평평한 1/4 파장판과 눈과 디스플레이 양쪽에 볼록 렌즈가 있습니다.
표면이 오목한 Apple 디자인은 동공의 흔들림이나 색상 문제 등 심각한 왜곡 없이 작동하려면 시선 추적 보정이 필요한 것으로 알려져 있습니다. 예를 들어 안경을 착용한 사람이 시선추적에 '혼동'이 생기거나 눈을 감고 겨우 볼 수 있을 정도로만 눈을 감으면 표시되는 이미지의 형상과 색상이 '불안정'해질 수 있습니다.
정의에 따르면 쿼터 파장판(QWP)은 색상=파장 의존적이며, 입사광의 각도에 따라 색상에 큰 영향을 받고 편광에도 영향을 미칩니다. 곡선을 갖는 QWP는 광학 설계에 필수적입니다.
디지털 사전 보정에는 공짜 점심은 없으며, 왜곡을 제거하기 위한 리샘플링으로 인해 해상도가 희생됩니다. FOV 중앙에 있는 디스플레이 픽셀은 덜 확대되고, 중앙에서 멀어질수록 픽셀이 더 확대됩니다. 얇은 선은 시야각 중앙의 픽셀 한 개 크기일 수 있으며, 시야각 바깥쪽의 픽셀 크기는 1/3 미만입니다.
메타 퀘스트 프로를 예로 들어 애플 비전 프로(5B부)에서 광학 왜곡 문제에 대해 설명했습니다. 가장 좋은 경우에는 렌더링 및 3D 매핑과 함께 왜곡 보정을 수행할 수 있으므로 리샘플링 해상도 손실은 한 번만 발생합니다. 그러나 소프트웨어의 실용성과 단순성을 위해 3D 공간으로 표현할 때 비트맵 이미지로 리샘플링을 두 번 이상 수행하는 경우가 많습니다. AVP도 마찬가지인지는 모르겠지만 그럴 것 같습니다. 첫 번째 리샘플링은 더 큰 이미지 크기로 리샘플링한 다음 3D 공간으로 리샘플링하는 것입니다. AVP의 경우, 포비티드 영역과 비포비티드 영역에 대한 리샘플링이 분명히 다릅니다.
시선 추적 보정
Apple은 포비티드 렌더링 외에도 시선추적을 사용하여 광학을 보정하고 있으며, 대부분의 경우 시선 추적 및 처리 기술 덕분에 사용자는 모든 동적 보정이 적용되고 있다는 사실을 인지하지 못합니다. 지난번 스프레드시트가 Apple Vision Pro(AVP)의 시선 추적/포베이션을 고장내다 및 첫 번째 투시 사진에서 보여드린 것처럼 가끔 시선 추적 기반 렌더링이 매우 잘못될 수 있습니다. AVP는 향상된 기능을 포베이션 렌더링과 결합하면 기괴한 결과를 표시할 수 있습니다.
기본 스프레드시트에서는 이전에 작성한 글에서 극적인 문제가 발생했지만, 일부 정적 비트맵에서도 비슷한 시선 추적 아티팩트를 보았습니다(향후 글에서 소개할 예정). 시선 추적과 포비티드 렌더링은 분명히 비트맵 이미지로 이루어지고 있습니다.
두 경우 모두 AVP에서 제가 본 한 가지 문제는 일반적으로 포비티드 부분에 '대비 향상'이 발생하여 평균 밝기가 유지되지 않아 포비티드 영역 경계가 보이는 원치 않는 부작용이 발생한다는 것입니다. 또한 더 높은 해상도/더 선명하게 렌더링될 때 예상할 수 있는 것처럼 포비티드 렌더링 영역에서 에일리어싱 신틸레이션(흔들림)이 증가합니다.
공정하게 말하면 대부분의 경우 포비티드 렌더링은 잘 작동합니다. 하지만 일부 이미지에서는 지속적으로 실패하거나 다른 이미지에서는 가끔씩 실패할 수 있습니다. 실패가 표시되는지 여부는 이미지의 소스(기본 이미지 또는 MacBook Pro의 미러)에 따라 달라질 수 있습니다.
눈의 움직임에는 이동과 회전이 포함되므로 눈은 광학 장치를 통해 다른 장소와 다른 각도에서 보게 됩니다. 이러한 위치와 각도의 변화로 인해 광학 장치가 다르게 작동하게 되며, 일반적으로 눈의 움직임에 따라 왜곡(흔들림)이 발생하는 '동공 스윔'이 발생합니다. 또한 광학 장치를 통해 비스듬히 보면 색수차(색 프린지)가 발생할 수 있습니다. AVP의 팬케이크 광학은 또한 눈의 움직임에 따라 넓은 영역의 색상 변화를 일으킵니다. 전반적으로 AVP는 동공의 흔들림과 색수차를 디지털 방식으로 잘 제거한 것으로 보입니다.
시선 추적 기반 광학 보정 개발을 위한 동공 수영과 로봇 제어 카메라의 알말런스 데모 시연
https://vimeo.com/763051626 (영상 링크)
CES(PixMax 부스)와 AR/VR/MR(자체 부스)에서 모두 만난 Almalence는 시선추적을 기반으로 시선 이동으로 인한 다양한 광학 문제를 보정하는 소프트웨어를 개발하는 회사입니다. PixMax를 사용하여 해상도를 개선하는 기능도 시연했는데, 데모뿐만 아니라 실제로도 잘 작동한다는 독립적인 보고도 들었습니다. 알말렌스는 여러 가지 헤드셋을 위한 시선 추적 보정 기능을 개발했습니다. 비디오는 '동공 수영' 문제를 전후로 보여줍니다. Almalence는 이 '아이 시뮬레이터'를 사용하여 시선 추적 기반 광학 보정을 개발했습니다.
시선추적은 광학 기술이 작동하기 위한 '필수품'이자 선택에 있어 '있으면 좋은 것'입니다.
모든 마케팅이 입력 선택에 시선추적을 사용하는 것에 주목하고 있지만, 시선추적은 이전 광학 장치보다 더 좋은 이미지를 생성하는 데 중요합니다. 이는 또한 작은 안경테를 착용할 수 있는 충분한 공간과 눈의 여유가 있음에도 불구하고 시력 교정을 위해 매우 구체적이고 특성화된 인서트가 필요한 이유를 설명하는 데 도움이 됩니다.
제 경험과 사용 경험에 비추어 볼 때, 현재 작동하는 눈과 손 추적 기반 선택은 보조적인 선택 방법으로서 '있으면 좋은' 기능입니다. 하지만 진지한 작업을 하려면 트랙패드나 마우스와 키보드가 정말 필요합니다. 예, 다른 물리적 장치 없이도 선택할 수 있는 기능이 있다는 것은 좋은 일입니다. 하지만 주/유일 입력 장치로 사용하는 것은 시간 소모가 심하고 귀찮을 수 있습니다. 물리적 장치를 사용하면 클릭할 때 자연스럽게 앞을 보게 되지만, AVP를 사용하면 잘못된 것을 클릭할 수 있습니다. 의도치 않게 눈이나 손가락을 움직였다가 다시 되돌리고 원하는 작업을 수행하려면 번거로울 수 있습니다. 또한 작은 항목을 선택하기에는 정확도가 떨어집니다.
AVP의 FOV는 눈 거리에 따라 매우 가변적이지만 배율의 변화는 매우 작습니다.
아래는 왼쪽 눈의 AVP 광학 장치를 통해 촬영한 두 장의 사진으로, 25W 페이스 어댑터를 사용하여 자이스 광학 삽입물을 사용한 경우와 페이스 어댑터 없이 광학 장치에 최대한 근접하여 촬영한 경우의 FOV를 보여줍니다(Reddit 주제 Apple Vision Pro Light Seals 디코딩 참조). 광학 인서트가 시력을 올바르게 교정하려면 정점 거리(눈에서 렌즈까지의 거리)를 유지해야 하므로 인서트를 주문하는 경우 일반적으로 더 깊은 페이스 어댑터를 사용하는 것이 좋습니다. 널리 보고된 바와 같이, 라이트 씰을 제거하고 눈을 광학 장치에 최대한 가까이 가져가면 AVP의 FOV가 크게 증가합니다(오른쪽 아래).
위의 두 사진은 모두 라이트 쉴드와 광학 인서트를 제거한 상태에서 촬영한 것으로, 라이트 쉴드는 기계적으로 간섭을 일으키고 인서트는 광학적으로 카메라를 엉망으로 만들 수 있기 때문입니다. '매크로 포커싱 레일'이 있는 삼각대에서 카메라를 움직여 제 눈에 보이는 FOV에 근접하도록 카메라를 배치했습니다(스프레드시트 그리드에 '눈금자'가 있는 이유도 여기에 있습니다).
흥미롭게도 FOV는 크게 변하지만 카메라/눈이 가까워질수록 두 이미지 사이의 배율은 약 1%(1.01배) 정도만 증가합니다(위 오른쪽 그림의 삽입물 참조).
광학 시스템을 거친 이미지
아래 그림은 자이스 인서트를 삽입했을 때 대략적으로 보이는 FOV를 보여줍니다. 이 사진은 카메라의 9방향 픽셀 시프트를 사용하여 16mm 렌즈를 장착한 Canon R5로 촬영한 400mp의 초기 이미지입니다. 그런 다음 이 사진을 선형적으로 3배로 축소했습니다(아래 이미지를 클릭하면 약 45mp 이미지를 볼 수 있습니다). 테스트 패턴(무손실 PNG 형식)은 내 테스트 패턴 페이지 또는 오른쪽 이미지를 클릭하여 확인할 수 있습니다.
사용된 테스트 패턴
테스트 패턴의 해상도는 1920×1080픽셀로 각 AVP OLED 디스플레이의 절반이 조금 넘습니다(iFixit에 따르면 조명 영역은 총 3660픽셀×3200픽셀). 스프레드시트가 FOV를 채우지 않기 때문에 테스트 패턴의 1920개 가로 픽셀은 광학 왜곡 보정으로 인해 다양한 크기의 약 3000개 AVP 픽셀로 매핑됩니다. AVP는 전반적으로 광학의 기하학적 왜곡을 매우 잘 보정합니다.
색상 균일성 문제
서론에서 설명했듯이, 대부분 흰색인 단순한 이미지로 디스플레이 색상 균일성(CRT 시절에는 '색 순도'라고 함)을 테스트합니다. 인간의 시각 시스템은 이미지와 이미지 사이, 그리고 단일 이미지 내에서 색상을 동적으로 재조정하기 때문에 카메라가 더 '객관적'이기 때문에 카메라가 눈에 보이는 것보다 문제를 더 악화시킬 수 있습니다. 하지만 제 눈으로 보는 AVP에도 색상 균일성 문제가 분명히 있습니다. 모든 이미지의 바깥쪽에는 청록색 고리(빨간색 부족)가 있고 화면 중앙에는 색 반점(대부분 빨간색/분홍색)이 있습니다.
영화나 사진처럼 일반적인 색상이 화려한 장면에서는 색상 변화가 눈에 띄지 않습니다. 하지만 웹 브라우징, 워드 프로세싱 또는 스프레드시트에서 일반적으로 발생하는 것처럼 대부분 흰색 화면을 표시할 때는 눈에 띄게 나타납니다.
바깥쪽 청록색 고리와 중앙의 빨간색 반점의 크기와 모양은 눈이 광학장치에 얼마나 가까이 접근하는지에 따라 달라집니다(눈 거리에 따른 FOV 크기를 비교한 이전 그림 참조). 또한 AVP의 시선 추적은 색상 변화를 보정하는 데 사용되는 것으로 알려져 있습니다. 시선추적이 손실되면 기괴한 색상 효과가 나타나는 것을 본 적이 있습니다.
중앙 디테일을 보여주는 전체 해상도에서 일부를 자른 클로즈업
아래 이미지는 원본 400메가픽셀 사진의 중앙을 잘라낸 이미지입니다. 이 이미지에는 원본 이미지의 일부를 이미지와 거의 같은 크기로 확대한 부분, 각 중심 픽셀의 FOV를 추정하는 데 사용된 50mm 렌즈(원래 16mm 렌즈의 3.125배 중심 해상도)를 통한 뷰, 테스트 하위 패턴의 선의 세부 사항을 보여주는 일부 고배율 오버레이 등 많은 것을 담으려고 노력했습니다.
AVP의 매우 유용한 기능 중 하나는 "시선 추적 커서"(Apple에서는 시선 포인터라고 부릅니다)로, AVP의 "접근성 메뉴"에서 사용할 수 있습니다. 또한 포인터를 눈에 잘 띄도록 빨간색 링으로 수정했습니다. 커서는 크라운 다이얼을 세 번 클릭하여 켜고 끌 수 있습니다. 이 커서는 사진을 찍을 때 AVP가 '눈'(카메라 렌즈)이 가리키고 있다고 생각하는 위치를 파악하는 데 특히 중요합니다. 또한 시선추적을 선택 장치로 사용할 때도 유용할 수 있습니다. 이 첫 번째 사진 세트에서는 커서를 원하는 화면 중앙에 두고 시선 추적을 수행하여 시선 추적이 "손실"되지 않았는지 확인했습니다.
이미지 중앙에 약 44.4픽셀(PPD) - 중앙에서 약 20/30 시야를 제공하고 다른 곳에서는 더 나빠짐
AVP 화면 중앙의 도당 픽셀을 결정하기 위해 픽셀 경계가 명확하게 보이는 좁은 FOV의 50mm 렌즈로 고해상도 이미지를 훨씬 더 넓은 FOV 16mm 렌즈의 이미지와 비교하고 크기를 조정해 보았습니다. 그 결과 이미지 중앙에 약 44.4픽셀(PPD)이 있다는 것을 알 수 있었습니다.
44.4ppd는 (가상 스넬렌 눈 차트를 보고 확인한 결과) 중앙에서 약 20/30의 시력을 제공합니다. 이것은 카메라를 통하지 않고 직접 화면 중앙에서 가장 좋은 경우이며, 더 나쁜 경우(20/35~20/40 정도)입니다. 시선 추적 포비티드 렌더링을 사용하더라도 FOV의 중앙 1/3을 벗어나면 해상도가 떨어집니다. AVP를 사용하면 시야가 다소 좋지 않은데, 기본적으로 모든 것을 더 크게 만들어서 이를 보완하려고 하는 것 같습니다(자세한 내용은 잠시 후에 설명하겠습니다).
리샘플링의 문제
50mm 렌즈 촬영에서 테스트 패턴의 다양한 특징과 픽셀 경계를 보여주기 위해 '픽셀 눈금자'(빨간색 선으로 된 행과 열)를 만들었습니다. 고해상도 이미지와 눈금자를 확대한 클로즈업은 오른쪽 하단 모서리에 1c라고 표시되어 있습니다.
전체 테스트 패턴에 걸쳐 4개의 선으로 이루어진 세트가 있고, 그 뒤에 2픽셀의 간격이 있고 그 뒤에 4개의 선이 더 있습니다. 삽입물 1a를 보면 AVP가 네 줄로 구성된 두 세트를 각각 세 줄로만 바꾼 것을 알 수 있습니다. 예를 들어 큰 1번 아래에서 더 긴 선 세트를 보면 간격과 간격이 '흔들리는' 선이 있지만 항상 기껏해야 세 줄입니다. 이 선들은 고개를 똑바로 들고 있어도 계속 흔들립니다. 큰 1번의 오른쪽에 있는 4개의 수직선을 보면 여러 개의 선으로 거의 구분할 수 없습니다.
중앙 테스트 대상에서도 동일한 4줄이 3줄로 변하는 현상이 발생합니다. 위의 확대된 섹션 1b를 참조하세요. 샘플링 이론에 따라 예상할 수 있듯이, 3D 공간에서 임의의 방향의 선을 표현하려면 디스플레이 해상도의 2배 이상이 필요합니다. 정지 사진에는 보이지 않지만, 미세하거나 거시적인 머리 움직임에 따라 모든 것이 "신틸레이션"(디스플레이 픽셀 크기가 깜박임)되고 흔들린다는 것을 알 수 있습니다. 가까이 다가가도 테스트 패턴의 모든 픽셀(선의 기본 '주파수'의 두 배 이상)에 대해 AVP의 디스플레이에 두 개 이상의 픽셀이 표시되므로 표시되는 선의 수는 분명히 더 많지만 여전히 신틸레이션과 흔들림이 있습니다.
워드 프로세싱, 간단한 프레젠테이션 그래픽 및 차트, 스프레드시트와 같은 일상적인 애플리케이션을 포함하여 가장자리가 날카로운 컴퓨터 생성 이미지는 3D 공간에 고정된 경우 재현하기가 매우 어렵습니다(자세한 내용은 부록 참조).
포비티드 렌더링
위의 원본 전체 카메라 이미지로 돌아가서, 큰 대시선 사각형은 포비티드 렌더링 경계를 대략적으로 나타냅니다. 아래 이미지는 가로 경계(2a)와 세로 경계(2b)를 보여주는 전체 해상도 크롭 이미지입니다.
4개의 선으로 이루어진 두 세트를 보면 광학 왜곡과 리샘플링으로 인해 디스플레이의 해상도가 이미 원래의 4개 선에서 2개에 가까운 선이 뚜렷하게 보이는 수준으로 떨어졌습니다. 따라서 포비에이션이 없어도 디스플레이의 해상도는 이 지점까지 떨어지고 있습니다.
모든 것을 크고 대담하게 만드는 AVP의 '트릭'
AVP는 이미지를 처리하고 종종 과도하게 처리합니다. AVP 기본값은 AVP 기본이든 Macbook 미러링이든 모든 것을 크게 만듭니다. 저는 이러한 동작을 AVP의 해상도를 더 좋게 보이게 하기 위한 '트릭'으로 봅니다. 기본 창에서는 이러한 제한을 해결하기 위해 창을 수정한 다음 다시 창에서 이동해야 했습니다. MacBook 미러링 창 크기에는 제한이 적지만 기본값은 창과 그 콘텐츠를 더 크게 만드는 것입니다.
또한 AVP는 대비를 개선하기 위해 텍스트와 같은 작은 항목의 가장자리를 크게 만들어 모든 항목이 굵은 글씨로 인쇄된 것처럼 보이게 합니다. 이렇게 하면 읽기 쉽지만 표시하려는 내용을 충실하게 표현하지는 못합니다. 이 문제는 "기본" 렌더링(스프레드시트 그리기)과 비트맵 이미지를 표시할 때 모두 발생합니다. 인간은 대비가 좋을수록 해상도가 높다고 인식하기 때문에 사물을 더 굵게 만드는 것은 해상도가 더 높은 것처럼 보이게 하는 또 다른 처리 기법입니다.
AVP에서 기본적으로 렌더링할 때(예: Excel 실행 시), AVP에 파일에서 저장된 비트맵을 표시할 때, 웹 페이지에 비트맵 이미지를 표시할 때, MacBook의 콘텐츠를 미러링할 때 다양한 처리 및 아티팩트가 발생하는 것을 볼 수 있습니다. 각 테스트 이미지가 각 디스플레이 모드에 따라 어떻게 다르게 표시되는지 확인하는 것은 모험입니다.
MacBook의 디스플레이를 복제할 때 크기 제한은 대부분 사라집니다. 저는 14인치 3024 x 1964 디스플레이와 ~1.54:1 종횡비의 MacBook Pro M3 Pro를 사용합니다. 미러링된 MacBook 디스플레이의 화면 비율은 ~1.78:1(16:9)입니다.
다른 보고서와 제가 관찰한 바에 따르면 AVP는 디스플레이 목록에서 이미지를 기본적으로 렌더링할 때와 비트맵 이미지를 표시하고 MacBook을 미러링할 때 다른 처리를 수행합니다.
Mac 미러링에 관한 The Verge의 글입니다:
"여기에는 매우 복잡한 디스플레이 스케일링이 뒤에서 진행되고 있지만, 가장 쉽게 생각할 수 있는 방법은 기본적으로 iMac이나 스튜디오 디스플레이에서 볼 수 있는 27인치 Retina 디스플레이를 사용한다고 생각하면 됩니다. Mac은 5120 x 2880 해상도의 5K 디스플레이에 연결되어 있다고 생각하며, 5K 디스플레이와 마찬가지로 2:1 논리적 해상도인 2560 x 1440으로 macOS를 실행합니다. (다른 해상도를 선택할 수 있지만 화질이 떨어질 수 있다는 경고가 표시됩니다.) 그런 다음 이 가상 디스플레이는 4K 3560 x 2880 비디오로 Vision Pro로 스트리밍되며, 여기서 원하는 만큼 크게 만들 수 있습니다. 이 모든 것의 결론은 4K 콘텐츠가 기본 4K 해상도로 실행된다는 것입니다. iMac과 마찬가지로 모든 픽셀을 가지고 있지만, Mac 디스플레이를 공간에 얼마나 크게 만들든 상관없이 창을 배치할 수 있는 총 2560 x 1440의 공간이 있으며 픽셀이 완벽한 5K 이미지를 볼 수 없다는 것입니다."라고 설명합니다.
이 말은 확실히 일리가 있고 제가 보고 있는 것과 일치하는 것 같습니다. AVP가 먼저 기본 해상도보다 높은 해상도로 이미지를 렌더링한 다음 그 높은 해상도를 3D 공간으로 스케일링/리샘플링하는 것처럼 보입니다. 문제는 비트맵을 훨씬 더 높은 해상도로 스케일업하더라도 일부 디테일이 손실된다는 것입니다(나이퀴스트 비율에 대한 부록 참조).
소스가 AVP 파일에서 오는지, 웹 페이지에서 오는지 또는 Macbook을 미러링하여 오는지에 따라 다른 아티팩트가 나타나는 것 같아서 AVP에 직접 저장된 비트맵의 경우 프로세스가 다른 것 같습니다(이 문제에 대해 더 연구 중입니다).
AVP 창에서 Macbook 스프레드시트를 열 때 기본값은 글꼴을 각도로 약 1.6배 크게 만드는 것입니다. 14인치 MacBook Pro에서와 거의 비슷하게 가독성을 높이려면 그렇게 해야 합니다. 더 넓은 종횡비와 함께 기본 크기의 창은 '일반적인 타이핑 거리'에서 14인치 Macbook Pro의 가로 시야의 약 2.7배를 채우며, 너무 넓어서 고개를 돌려야 모두 볼 수 있습니다.
사람들이 "그래서 더 크다고요?"라고 묻는 소리가 들립니다. 그래도 읽을 수 있다면 나쁜가요?"라고 묻는 사람들이 있습니다. 정보/콘텐츠 밀도가 낮아졌다는 의미에서 나쁩니다. 같은 콘텐츠를 읽으려면 눈을 더 많이 움직여야 합니다.
옵토피델리티 및 감마 사이언티픽의 광학 성능 연구
저의 연구는 다양한 헤드셋의 성능에 대한 휴리스틱한 느낌을 주기 위해 눈으로 보는 것을 캡처하는 기존 카메라 장비를 사용합니다. R&D와 생산 모두에 필요한 세부적인 평가를 위해서는 눈과 머리의 움직임을 시뮬레이션할 수 있는 로봇이 장착된 특수 카메라가 필요합니다.
옵토피델리티 버디 모션 테스터
AR/VR/MR 컨퍼런스에서 저는 헤드셋 테스트 장비를 제조하고 Apple Vision Pro의 광학 시스템을 평가하고 있는 감마 사이언티픽과 옵토피델리티를 만났습니다. 옵토피델리티는 동적 모션 분석을 주로 하는 반면, 감마 사이언티픽은 보다 상세한 광학 연구를 하고 있습니다(제가 이해하기로는 이렇게 두 회사의 차이점이 있습니다). 서로 다른 형태의 테스트 결과를 보는 것은 흥미로울 것입니다.
감마 사이언티픽과 옵토피델리티의 공개 성명을 인용한 것입니다:
감마 사이언티픽은 NED™ 로보틱아이™ 테스트 플랫폼을 활용하여 애플 비전 프로에서 기준 광학 품질 측정을 수행하여 사용자가 VR 디스플레이를 경험하는 방식을 객관적으로 특성화하고 있습니다. 여기에는 밝기 균일성, 색상 균일성, 포비티드 콘트라스트, 검증된 FOV, 아이박스 볼륨 등과 같은 주요 성능 지표가 포함됩니다. 이들의 보고는 AR/VR 디스플레이 계측에 대한 최신 국제 표준을 기준으로 AVP를 벤치마킹하는 데 중요한 역할을 합니다.
옵토피델리티 발표: 버디 테스트 시스템을 사용하여 애플 비전 프로를 종합적으로 평가할 예정이라는 소식을 알려드리게 되어 기쁩니다. 테스트에서는 다음을 포함하여 Vision Pro의 다양한 성능 메트릭을 다룰 예정입니다:
옵토피델리티 패스스루 MR 비교
이 블로그에서 감마 사이언티픽과 옵토피델리티의 결과를 공유할 계획입니다.
옵토피델리티는 이미 블로그 기사 Apple Vision Pro 벤치마크 테스트 1: 시스루 지연 시간, 광자 대 광자(오른쪽)와 Apple Vision Pro 벤치마크 테스트 2: VR에서의 각도 모션 대 광자 지연 시간(아래)에 첫 번째 결과를 게시했습니다. 첫 번째 연구에서는 AVP가 12ms 미만의 '광자 대 광자' 지연(움직이는 물체가 카메라에 표시되는 시간)을 보인다는 Apple의 주장을 확인했으며 지연이 Meta 및 HTC의 최신 패스스루 MR 제품보다 거의 4배 적다는 것을 보여주었습니다. 옵토피델리티 파트 2는 디스플레이에서 무언가를 보기 위한 (머리) 움직임(모션 투 포토톤)을 다룹니다. 퀘스트 프로, 퀘스트 3, AVP는 모두 지속적인 움직임에 예측 모션을 사용하며, AVP는 특히 더 공격적이지만(왼쪽 아래) 모두 사람이 알아차릴 수 있는 범위 내에 있습니다. 오른쪽 아래 차트는 예측이 역효과를 낼 수 있는 짧은 움직임과 긴 움직임이 혼합된 경우 표준 편차를 사용합니다.
다른 사람들의 생각
이 글을 게시할 준비를 하고 있는 지금, 우리는 AVP가 대중에게 공개된 지 2주째를 맞이하고 있습니다. 새로운 기술의 경이로움이 인상적이고 사람들이 무게, 착용감, 외장 배터리와 같은 표면적인 결함을 이제 막 알아차리기 시작하는 '열광의 단계'를 지나고 있습니다. "데모웨어"를 지나 "이것이 일상적으로 나에게 어떤 도움이 될까?"라는 질문을 던지는 단계입니다. 그렇다고 해서 일부 개인과 일부 애플리케이션이 마음에 들지 않는다는 것은 아닙니다.
유튜브와 소셜 미디어 인플루언서의 모든 '즉석 전문가'들이 AVP의 해상도와 디스플레이 품질을 칭찬하고 있기 때문에 제 분석은 논란의 여지가 있을 수 있습니다. 제가 자주 하는 말처럼 "어젯밤에 TV를 보거나 홀리데이 인에서 잠을 잤던 사람은 누구나 자신이 디스플레이 전문가라고 생각합니다."
저는 AVP에 관한 많은 동영상을 보고 기사를 읽었지만 색 균일성 문제에 대해 진지하게 논의하는 사람을 본 적이 없습니다(제가 누군가를 놓쳤을 수도 있습니다). 안티앨리어싱 및 모아레 텍스트 효과와 문제를 숨기기 위해 이미지/텍스트를 기본적으로 크게 설정하는 방법에 대해 이야기하는 Snazzy Labs의 최신 동영상은 제가 본 동영상 중 유일한 동영상입니다. Snazzy와 소수의 다른 사람들이 광학 장치의 눈부심 문제에 대해 논의했습니다(이후 글에서 보여드리고 논의할 계획입니다). '사용자 경험'이라는 관점에서 지난 2주간 The Verge의 글과 팟캐스트 댓글 대부분에 동의합니다. 제가 가장 좋아하는 인용문 중 하나는 원래 Adi Robertson이 작성하고 The Verge의 Nilay Patel이 인용한 "그렇지 않을 때까지는 마법이다."라는 말입니다.
결론 및 제 의견
간단히 말해, AVP의 디스플레이 품질은 거의 모든 다른 VR 헤드셋에 비해 좋지만 적당한 가격의 최신 컴퓨터 모니터에 비하면 매우 열악합니다. 오늘날의 소비자는 AVP만큼 형편없는 컴퓨터 모니터에 100달러를 지불하지 않을 것입니다.
앞서 말했듯이 "Apple은 다른 물리학을 이해하지 못합니다." Apple은 샘플링 이론을 이길 수 없으며, 눈당 8K 디스플레이가 있더라도 리샘플링 문제가 약간 있겠지만 눈의 해상도 한계에 있기 때문에 그 정도는 적을 것입니다.
'공간 컴퓨팅 애플리케이션'의 경우 AVP는 모든 것을 더 크게 만드는 '치트'를 사용합니다. 하지만 이렇게 하면 정보 밀도가 손실되어 같은 양의 콘텐츠를 보기 위해 사용자의 눈과 머리가 더 많이 움직이게 되고 한 번에 많은 양을 볼 수 없게 됩니다. 모든 것을 더 굵게 만들면 텍스트는 더 읽기 쉬워질 수 있지만 원본 이미지의 충실도는 떨어집니다. 대부분의 경우 포비티드 렌더링은 '제대로' 작동하지만, 때로는 크게 실패하기도 합니다.
제가 AVP를 깨뜨리는 건가요? 네, 어떤 면에서는 그렇지만 공정성을 유지하려고 노력하고 있습니다. 일부 애플리케이션에 필요한/원하는 해상도를 제공하지 못한다는 사실을 알고 있습니다. 저는 디스플레이 광학 및 이미지 처리에 대한 지식을 사용하여 AVP가 어떻게 작동하는지 확인한 다음 테스트 케이스를 구성하여 어떻게 실패하는지 보여주는 '디버거 접근 방식'을 취하고 있습니다. 이는 1980년대와 1990년대에 텍사스 인스트루먼트에서 CPU 설계자로 일할 때 컴퓨터로 거의 모든 테스트를 하던 시절에 설계를 검증하기 위해 사용했던 접근 방식과 거의 비슷하며, 설계부터 작동까지 "어떻게 하면 실패하게 만들 수 있을까"를 고민해야 했죠.
저는 평소 관행에 따라 다른 사람들이 검증할 수 있도록 테스트 패턴을 제공하는 등 결과를 보여줬습니다.
부록 - 리샘플링 및 나이퀴스트 비율에 대한 추가 정보
Apple Vision Pro(5A부) - 모니터 교체가 어리석은 이유에서 설명한 나이퀴스트 비율 이하의 리샘플링에는 불가피한 문제가 있습니다. 하지만 AVP의 광학적 왜곡과 포비티드 아이 트래킹을 보정할 때 이러한 문제는 더욱 악화됩니다.
주파수 영역에서 단순한 수평선은 선에 수직인 무한한 홀수 고조파를 가진 사각형 펄스 함수처럼 보이지만, 사각형 점은 두 방향에서 무한한 고조파를 가집니다. 따라서 디스플레이의 해상도가 소스 이미지의 두 배라고 해도 아티팩트로 나타나는 '오류'가 일부 존재하게 됩니다. 그리고 움직임에 따라 오차가 이동/변화하여 눈으로 오류를 인식하게 됩니다. 기본적으로 나이퀴스트를 지나치게 단순화하면, 2D 객체를 3D 공간에서 렌더링(리샘플링)할 때 대부분의 경우 큰 문제 없이 렌더링하려면 원본 이미지의 해상도보다 두 배 이상의 해상도가 필요합니다. 소프트웨어 앤티 앨리어싱은 이미지가 흐려지는 대신 일부 부작용을 줄일 수 있을 뿐입니다. AVP의 픽셀 수가 두 배(~8K 디스플레이)라 하더라도 표시하기 '어려운' 패턴이 있습니다.
단일 픽셀을 그리는 문제(나이퀴스트 샘플링 이론에 대해서는 자세히 설명하지 않음)에 대해서는 Apple Vision Pro(5A부) - 모니터 교체가 어리석은 이유에서 설명했습니다.
