출처:
최근에 들어와서 잘 모른다면 이 아저씨는 디스플레이 / AR 관련해서 짬밥이 많은 아저씨임
분석글도 꽤 많이 썼고.
어찌되었건 사람인 만큼 가끔은 틀리기도 하니 무조건 맹신할건 아니지만.
소개
오늘의 글은 Apple 비전 프로(AVP)에 대한 초기 연구 결과입니다. 저는 AVP와 관련된 많은 작업을 하고 있으며, 이 모든 것을 게시하기 위해 준비하는 데 시간이 좀 걸릴 것입니다. 제가 하고 있는 일 중 하나는 AVP의 "광학 장치를 통해" 사진을 찍는 것인데, 이를 통해 AVP의 작동 방식에 대한 흥미로운 정보와 AVP의 포비티드 렌더링을 "깨뜨린" 두 번째 테스트 패턴을 모두 공개합니다.
여러 차례 검색을 해봤지만 아직 AVP의 '광학계를 거친' 사진을 보지 못했습니다. 어딘가에 있을지도 모르지만 저는 찾지 못했습니다. 그래서 제가 직접 찍은 테스트 사진 몇 장을 올려서 AVP의 렌즈를 투과한 사진을 최초로 공개할 수 있기를 바랍니다.
시선추적 디스플레이 기반 렌더링, 아마 "너무 똑똑하다"
AVP는 때때로 "너무 똑똑해서" 나쁜 시각적 아티팩트를 만들기도 합니다. AVP의 시선 추적은 선택에 사용되는 것 외에도 이미지를 전처리하여 해상도를 변경하고 광학 장치의 색상 문제(수차)를 보정합니다. 카메라 렌즈가 사람의 눈과 다르게 보이기 때문에 촬영이 까다롭습니다.
오늘은 AVP 광학 기능을 통해 사진을 찍을 수 있는지 확인하기 위해 몇 가지 스프레드시트를 작성해 보았습니다. 먼저 AVP의 기본 Excel 앱을 사용하여 두 개의 큰 Excel 스프레드시트를 표시했습니다. 한 스프레드시트는 흰색 배경에 검은색 텍스트를 사용했는데, AVP가 텍스트와 줄을 실제보다 '더 진하고/굵게' 보이게 하는 것처럼 보였지만 그렇게 심하게 보이지는 않았고, AVP가 스프레드시트의 가독성을 '향상'(항상 적용되길 원하는 것은 아님)시키는 것 같았습니다.
하지만 검은색 배경에 흰색 텍스트와 선으로 모든 것을 뒤집어 보았더니 디스플레이가 시선 추적을 따라 사각형 상자에 반짝이기 시작했습니다. 다행히도 아래 동영상에서 이 효과를 AVP의 녹화 영상에 포착했습니다.
포비티드 렌더링의 문제점을 보여주는 것은 카메라나 AVP의 비디오 캡처가 아니라 제 눈으로 직접 확인했다는 점을 강조하고 싶습니다. 아래 스프레드시트를 제공하여 AVP를 사용하는 모든 사람이 제 결과를 확인할 수 있도록 했습니다. AVP에서 실행 중인 Excel로만 테스트했습니다. Excel에서 '보기'로 이동하여 '-' 돋보기로 보기를 3~4회 확대하여 텍스트와 상자를 작게 만들면 그 효과를 가장 쉽게 확인할 수 있습니다.
(엑셀 파일은 맨위의 링크에서 확인)
나의 첫 번째 광학계를 거친 사진 실험
시선 추적 기반 렌더링을 사용하는 AVP는 광학 장치를 통해 캡처하기가 까다롭습니다. 시선 추적은 카메라와 렌즈에 따라 다르게 작동합니다. 카메라를 사용할 때 AVP의 색상이 변하는 것을 볼 수 있었고, 때로는 제 눈으로 보는 것과 다른 색상의 사진이 나오기도 했습니다.
AVP가 스프레드시트와 같은 정지된 피사체에서도 '포비티드' 가변 해상도 렌더링을 사용하고 있는 것이 분명해 보입니다. 이러한 재렌더링은 눈을 기반으로 하며, 검은색 스프레드시트의 흰색 텍스트와 선에 보이는 아티팩트의 원인인 3D 공간 잠금(일명 SLAM)의 변경으로 인해 발생합니다.
또한, 흰색과 검은색 스프레드시트를 보면 안티앨리어싱 '꼬인 밧줄' 잔물결 효과를 쉽게 볼 수 있듯이 디스플레이의 해상도는 눈의 해상도보다 확실히 낮습니다. 이미지에서 가장 높은 렌더링 해상도("포비티드")로 반짝이는 부분. 이 문제에 대해서는 Apple Vision Pro (5A부) - 모니터 교체가 어리석은 이유, Apple Vision Pro (5B부) - 모니터 교체가 어리석은 이유 및 Apple Vision Pro (5C부) - 모니터 교체가 어리석은 이유에서 자세히 설명했습니다.
칼 구탁: Apple Vision Pro (파트 5A) - 모니터 대용이 어리석은 이유 - https://arca.live/b/vrshits/83061130
https://kguttag.com/2023/08/05/apple-vision-pro-part-5a-why-monitor-replacement-is-ridiculous/amp/
칼 구탁: Apple Vision Pro (파트 5B) - 모니터 대용이 어리석은 추가적인 이유 - https://arca.live/b/vrshits/83407450
https://kguttag.com/2023/08/09/apple-vision-pro-part-5b-more-on-monitor-replacement-is-ridiculous/
칼 구탁: Apple Vision Pro (파트 5C) - 모니터 대용이 어리석은 추가적인 이유 - https://arca.live/b/vrshits/84291813
https://kguttag.com/2023/08/20/apple-vision-pro-part-5c-more-on-monitor-replacement-is-ridiculous/
포비에이션이 없었다면 이미지 전체가 반짝반짝 빛났을 것이라는 점을 지적하고 싶습니다. 하지만 포비에이티드 렌더링은 포비에이티드 영역과 저해상도 영역 사이의 경계에 눈에 보이는 사각형을 만들기 때문에 렌더링이 더 나빠집니다. '포비티드 렌더링'은 텍스트와 선의 해상도와 두께를 변경하여 문제를 더욱 악화시킵니다. 저는 전체 이미지가 같은 방식으로 렌더링되고(스프레드시트를 렌더링하는 것은 처리 제한이 아닙니다), 경계선이 있는 곳과 없는 곳이 구분되지 않고 전체 이미지가 반짝이며 경계선의 굵기도 달라지는 것이 더 우아하게 저하되는 것이라고 주장하고 싶습니다. 중요한 점은 AVP의 디스플레이가 다른 거의 모든 VR/MR 헤드셋보다 훨씬 뛰어나지만, Apple의 표현대로 "망막 해상도"(또는 눈으로 볼 수 있는 것 이상)는 아니라는 점입니다.
참고로, 아래는 두 장의 투과 광학 테스트 사진입니다. 첫 번째 사진은 28mm 렌즈가 장착된 R5 카메라와 "픽셀 시프팅"을 통해 400만 화소 이미지를 촬영한 것입니다. 아래 사진 중앙의 아주 작은 부분을 클릭하면 전체 해상도로 볼 수 있습니다.
디테일을 보여주기 위해 위 이미지에서 아주 작은 부분을 크롭
아래 두 번째 이미지는 17mm 렌즈가 장착된 올림푸스 D 마크 III(마이크로 포서드 카메라)로 촬영한 것입니다. R5의 해상도에는 미치지 못하지만 이 렌즈를 사용하면 AVP의 시선추적 기능이 더 잘 작동합니다. 이 카메라에는 24메가픽셀 센서가 있으며, 픽셀 시프팅 기능을 사용하여 약 80메가픽셀로 이미지를 캡처했습니다. 전체 이미지(전체 해상도로 보려면 클릭)는 아래에 포함되어 있습니다.
전체 해상도 이미지를 스크롤하면 이미지의 대부분을 통해 픽셀 격자를 확인할 수 있지만 텍스트는 훨씬 더 빠르게 흐릿해집니다. 이는 포비티드 렌더링을 시사하는 것으로 보입니다. 아직 확인할 시간이 없었지만 해상도 저하가 흰색과 검은색 스프레드시트의 사각형과 일치하는 것 같습니다.
디테일을 보여주기 위해 위 이미지에서 아주 작은 부분을 크롭
결론
디자이너는 기술을 적용할 때 신중해야 합니다. 때로는 한 가지를 잘 작동시키는 동일한 스마트 기술이 다른 것에는 제대로 작동하지 않을 수 있습니다.
문제의 가장 큰 부분은 AVP 소프트웨어나 Excel 포트의 버그일 수 있습니다. 개선되지 않는다고 해서 세상이 끝났다고 말하는 것은 아닙니다. 이 문제를 줄이기 위해 포비티드 렌더링을 "톤 다운"하는 방법이있을 수 있지만 디스플레이 해상도를 고려할 때이를 제거 할 수있는 방법은 없다고 생각합니다. 동시에 제가 시도한 두 번째 테스트에서는 "깨짐/탈출"이 발생했습니다. 너무 쉽게 발생하기 때문에 이 문제는 다른 곳에서도 나타날 가능성이 높습니다. 근본적으로 이 문제는 디스플레이의 해상도가 사람의 시각만큼 좋지 않기 때문입니다.
