출처:
관련 문서나 추가 자료의 하이퍼링크는 생략되어있으므로 관심이 있으면 원본 링크에서 볼 것
이미지: 왼쪽: 다니엘 폴. 오른쪽 위: Canon. 오른쪽 아래. 캐논 특허 출원.
VR180-3D 포맷은 수년 동안 몰입형 미디어에 사용되어 왔습니다. 이 글에서는 시야각이 다른 캐논의 스테레오 렌즈에 대한 새로운 특허 출원과 가상 현실용 몰입형 미디어에 미치는 잠재적 영향에 대해 살펴봅니다.
By Daniel Pohl
VR180-3D 형식에서는 환경이 각 눈의 반구(180°×180°)로 기록됩니다. 가상 현실에서 이 포맷은 동시 스테레오스코픽 뷰를 통한 헤드 트래킹으로 실제 장면에 매우 가까운 이미지를 제공하기 때문에 몰입감을 높이는 데 적합합니다. 하지만 왜 정확히 180도일까요?
VR180 - 어떤 기능인가요?
가상현실이 없다면 스테레오스코픽 VR180은 큰 의미가 없습니다. 그러나 VR에서는 이 형식이 완벽하게 꽃을 피워 3D 뷰와 머리의 움직임을 추적하여 이미지의 다른 영역을 볼 수 있는 충분한 시야각을 모두 제공합니다. 이에 따라 2017년과 2018년에 더 나은 VR 헤드셋이 등장하면서 루시드캠, Z캠 K1 프로, 레노버 미라지 카메라와 같은 최초의 VR180 카메라가 시장에 출시되었습니다.
VR180 이미지는 360° 카메라의 경우와 마찬가지로 스티칭 없이 녹화됩니다. 따라서 360도 드론 촬영에서 발생할 수 있는 스티칭 아티팩트와 개별 이미지의 다른 조명 또는 동적 물체 문제와 같은 불일치를 방지할 수 있습니다.
원형 어안 렌즈로 촬영한 VR180 카메라의 이미지는 일반적으로 제조업체와 무관한 직각 포맷으로 저장하거나 도구를 사용하여 사후에 변환합니다. 이는 둥근 지구본을 직사각형 형식으로 변환하는 것과 비슷합니다.
Canon EOS R5, 5.2mm 듀얼 어안으로 촬영한 VR180 사진. 위: 어안 형식의 이미지(렌즈로 인해 왼쪽/오른쪽이 반전됨). 아래: 직사각형 형식의 이미지. | 사진: 다니엘 폴
직각 180도 3D 사진의 절반은 180°×180° 반구를 정확히 나타내는 정사각형입니다. 따라서 형식의 검은색 가장자리를 피하고 VR에서 충분한 머리 움직임을 허용하려면 가능하면 180도 전체를 콘텐츠로 채우는 것이 좋습니다.
하지만 190°나 200°는 어떨까요? 그렇게 할 수 있고 실제로 해왔습니다. Z-Cam K2Pro는 200° 어안 렌즈가 장착된 버전을 제공하므로 카메라 뒤쪽 영역도 들여다볼 수 있습니다. 그러나 180°에서 가장자리를 볼 때 스테레오 카메라의 인접 렌즈가 한쪽 눈에 보일 수밖에 없습니다.
3D 인식에서 왼쪽 눈과 오른쪽 눈이 매우 다르고 비현실적인 정보를 수신하면 매우 혼란스럽고 눈의 피로와 멀미를 유발할 수 있습니다. VR180 캐논 5.2mm 듀얼 어안 렌즈의 대형 렌즈를 사용하면 immerGallery와 같은 최신 VR 이미지 뷰어는 이 카메라에서 사진의 왼쪽과 오른쪽 가장자리를 많이 차단하여 눈 사이의 이러한 충돌이 더 이상 발생하지 않습니다.
캐논 5.2mm 렌즈에서 인접 렌즈의 클로즈업. | 사진: 다니엘 폴
따라서 가상 현실을 위해 180° 이상의 렌즈의 부가가치가 반드시 주어지는 것은 아닙니다. 위의 이미지를 어안 형식의 이미지와 직각 버전과 비교하면 원래 어안 이미지에 더 많은 콘텐츠가 표시되는 것을 알 수 있습니다. 렌즈 자체는 실제로 거의 190°를 캡처할 수 있습니다. 그러나 이미지에 인접한 렌즈와 색수차로 인해 가장자리로 갈수록 어안 화질이 떨어지기 때문에 VR에서 이러한 추가 픽셀을 표시할 때 부가적인 가치는 없습니다. 또한 3D 효과는 어차피 가장자리에서 감소합니다.
현재 180°가 너무 과한 이유
가상 현실에서 고개를 어느 정도 움직일 수 있다는 것은 좋은 일이지만 몇 가지 어려움도 있습니다. 180°× 180°를 상세한 이미지 데이터로 채우려면 매우 높은 해상도가 필요합니다. 2018년 처음 출시된 VR180 카메라는 가로 약 6000픽셀, 세로 약 3000픽셀을 제공했습니다. 메타 퀘스트 3와 같은 헤드셋에서는 입체적으로 인상적이지만 안타깝게도 상대적으로 흐릿하게 보입니다. 5.2mm 렌즈가 장착된 Canon EOS R5와 같은 8K 사진 해상도를 사용하면 이미지가 이전보다 훨씬 더 선명해집니다.
하지만 이 구성으로 촬영한 8K VR180 사진도 현재 퀘스트 3에서 볼 수 있는 콘텐츠만큼 선명하지는 않습니다. 드론으로 촬영한 360도 이미지와 비교해 볼 수 있습니다. 이러한 초고해상도 360° 이미지는 드론과 드론에 장착된 카메라가 회전하면서 여러 장의 고해상도 이미지를 촬영하여 만들어집니다. 이렇게 하면 수백 메가픽셀의 스티치 이미지가 생성됩니다. 이러한 이미지는 이 해상도로 헤드셋에 직접 로드되는 것이 아니라 픽셀 수 측면에서 8K-VR180의 사진과 유사한 해상도로 축소됩니다. 그러나 축소된 이미지는 화각당 픽셀 수가 동일하더라도 훨씬 더 세밀하고 선명하게 보입니다.
그 이유는 무엇일까요? 첫째, 위의 어안 이미지에서 볼 수 있듯이 두 개의 둥근 어안 이미지가 정사각형 카메라 센서에 들어가야 하기 때문에 EOS R5 카메라 센서의 모든 픽셀(45메가픽셀)이 사용되지 않는다는 것을 알 수 있습니다. 어안 렌즈의 작동 방식으로 인해 어안 이미지에는 이미 약간의 왜곡이 있습니다. 직사각형 형식으로 변환할 때 픽셀을 보간해야 하는데, 픽셀이 더 이상 스캔 패턴에 따라 정확하게 사용되지 않기 때문에 일정량의 흐림이 발생합니다. 또한 최종 직사각형 형식에는 특정 왜곡이 있습니다. (반)구는 왜곡 없이 직사각형으로 표시할 수 없습니다.
드론 이미지를 축소하면 훨씬 선명하게 보이는 이유는 무엇인가요? 좋은 이미지 알고리즘을 사용하면 렌더링 관점에서 볼 때 매우 우수한 앤티 앨리어싱 또는 슈퍼 샘플링을 통해 다운 스케일링 시 많은 정보가 서브픽셀에 유지됩니다. 따라서 선명도가 더 높아집니다.
VR180이 충분히 선명하지 않나요? 이제 어떻게 해야 하나요?
8K 카메라 바디와 L 렌즈가 장착된 전문가용 VR 카메라조차 VR180에 충분히 선명하지 않다면 어떻게 해야 할까요? 카메라 바디의 센서 해상도를 높이는 것이 한 단계 더 나아갈 수 있는 방법입니다. 하지만 이렇게 하면 제품 가격이 훨씬 더 비싸지겠죠. 10K 수평은 사진 분야에서 아직 상상할 수 있는 수준입니다. 그러나 이러한 카메라가 10K 동영상(가급적이면 60fps 이상)도 녹화하려면 적어도 2024년까지는 막대한 비용이 들기 때문에 불가능해 보입니다.
합리적인 목표는 45메가픽셀 미만의 센서로도 몰입형 미디어를 더 저렴하고 더 쉽게 제작할 수 있도록 하는 것입니다. 캐논은 이미 풀프레임 센서 대신 비용 효율성이 더 높은 APS-C 센서가 장착된 카메라 바디에 장착되는 새로운 듀얼 어안 렌즈의 프로토타입을 선보인 바 있습니다. 그러나 EOS R7은 현재 APS-C 카메라 바디 중 가장 높은 해상도인 32메가픽셀을 제공하며, 이는 풀프레임 EOS R5 카메라 바디의 45메가픽셀보다 낮습니다. 이에 해당하는 가로 해상도 약 7K의 VR180 사진은 개인 사용자에게는 충분할 것입니다. 그럼에도 불구하고 R5에 비해 선명도 손실이 눈에 띄게 나타납니다. 이제 어떻게 할까요?
몰입형 미디어용 카메라에서 아직 고려되지 않은 한 가지 차원은 180° × 180°입니다. 물론 목표는 3D 영화관이나 "일반 3D"(약 70° 시야각)용 구형 3D 카메라의 경험을 훨씬 뛰어넘고 몰입감을 위해 VR에서 머리 움직임을 계속 지원하는 것입니다. 그러나 시야각이 어느 정도 감소하는 것은 허용될 수 있습니다. 이는 동일한 센서에 투사되는 주변 환경이 줄어들어 VR 사진의 이미지가 더 선명해진다는 것을 의미합니다.
VR150? VR135?
과학 컨퍼런스인 IEEE VR 2024에서 immerVR과 뷔르츠부르크 대학교의 연구 프로젝트는 두 대의 스마트폰을 결합하여 123° 시야각을 입체적으로 묘사하는 VR123 카메라를 시연했습니다. 이는 스마트폰 제조업체에게 최신 스마트폰을 사용하여 iPhone 15 Pro와 같이 작은 시야각으로 3D 사진 및 3D 동영상 이상의 것을 비교적 쉽게 촬영할 수 있다는 것을 보여주기 위한 것이기도 합니다.
오히려 초광각 렌즈, 이상적으로는 동일한 스마트폰에 사람의 눈높이에 맞춰 두 개의 동일한 렌즈를 사용하면 이미 VR에서 어느 정도 머리 회전이 가능한 몰입형 미디어를 만들 수 있습니다. 이 프로젝트에서는 카메라 인터페이스의 일부 제한으로 인해 123도였습니다. 하지만 이미 150도 초광각 카메라가 내장된 스마트폰인 리얼미 GT2 프로와 같은 스마트폰이 있습니다. 앞으로 이 방향으로 더 많은 변화가 일어날지 지켜보는 것도 흥미로울 것입니다.
두 대의 스마트폰으로 VR123 및 VR150 미디어를 제작하는 연구 작업. | 이미지: Scheuerpflug et al.
그 동안 캐논은 매우 주목할 만한 두 가지 새로운 특허를 출원했습니다. 물론 특허 출원이 제품 출시를 보장하는 것은 아니며 단지 실험적인 디자인일 수 있다는 점에 유의해야 합니다. 세부적으로 웹 사이트 CanonRumors는 비공식적으로 Canon RF-S 3.2mm F2.8 듀얼 어안 및 Canon RF-S 3.8mm F3.5 듀얼 어안으로 언급되는 렌즈에 대한 특허 출원에 대해보고합니다.
이는 APS-C 센서용입니다. 두 렌즈 모두 79.1°와 72°로 화각의 절반이 설명되어 있습니다. 두 배로 늘리면 약 158°와 144°가 됩니다. VR180과 달리 여기서는 이웃 렌즈가 더 이상 문제가 되지 않습니다. 그러나 위의 어안 이미지에서 가장자리 렌즈의 광학적 단점을 이미 볼 수 있으므로 여기에서도 더 극단적인 바깥쪽 영역은 사용되지 않을 것이라고 가정합니다. 즉, 두 개의 스테레오 렌즈는 실제로 변환된 직각 버전에서 VR150과 VR135의 이미지 콘텐츠를 전달할 수 있습니다.
이는 몰입형 미디어 콘텐츠 제작자에게 어떤 의미가 있을까요? 시야각이 작아지면 180°×180°를 사용하는 모든 사진가들이 겪었던 것처럼 초보자 실수로 자신의 발이나 손가락이 사진에 포함되는 실수가 사라집니다. 삼각대 사용도 더 쉬워집니다. VR180을 사용하면 삼각대에 더 긴 레일이 없어도 삼각대 다리가 항상 사진에 들어갑니다.
선명도가 향상되어 사진 중앙의 인물과 같은 주요 피사체를 VR180으로 촬영할 때보다 훨씬 더 선명하게 포착할 수 있습니다. 더 이상 큰 건물 앞에 가까이 서서 시청자가 목을 움직여 모든 것을 보려면 실제로 위를 올려다봐야 하는 장면을 촬영하는 것은 더 이상 잘 작동하지 않을 것입니다. 이 경우 약 135°의 수직 제한이 너무 빨리 적용됩니다. 즉, 180° 전체 설정과 그보다 작은 변형이 필요한 이유가 여전히 존재합니다.
VR150과 VR135는 어떻게 생겼나요?
150° 또는 135°에서 시야각의 제한이 일반 VR180에 비해 얼마나 클까요? 이를 시뮬레이션하고 두 장의 Canon VR180 EOS R5 5.2mm 원본 사진에서 이미지 데이터를 가져와 150° 및 135° 버전과 비교했습니다. 이 테스트는 모든 이미지가 동일한 원본 VR180 사진에서 8K로 생성되었기 때문에 선명도가 아닌 시야각의 인상만을 비교하는 데 적합합니다. 앞서 언급했듯이 직사각형 포맷은 왜곡이 있기 때문에 이 글에 표시된 2D에서의 인상은 VR에서 인식되는 것과 다를 수 있습니다.
따라서 VR180, VR150, VR135의 비교 사진을 .zip 파일로 다운로드하여 VR에서 직접 확인할 수 있도록 했습니다. 가장 쉬운 방법은 immervr://vr150에서 이미지를 다운로드할 수 있는 immerGallery 앱을 사용하는 것입니다. 앱에서 다운로드, 사용자 지정 URL로 이동하여 드롭다운을 immervr://로 설정한 다음 vr150을 입력하기만 하면 됩니다.
사진 중앙에 주요 물체가 있는 VR180-3D 이미지. 위에서 아래로: 180°,150°, 135°. | Bild: Daniel Pohl
높은 물체 가까이 서 있는 VR180-3D 이미지입니다. 위에서 아래로: 180°, 150°, 135°. | 사진: 다니엘 폴
VR 헤드셋으로 VR180, VR150, VR135를 볼 때 주관적인 느낌은 150°로 제한하는 대신 선명도가 높아진다면 비교적 쉽게 대처할 수 있다는 것입니다. 135°에서는 여전히 전체 시야가 채워지지만, 고개를 조금만 움직여도 이미지를 보고 있을 뿐 실제 세상에 있는 것이 아니라는 느낌이 듭니다. 따라서 첫인상으로는 150° 버전이 더 마음에 듭니다.
요약
몰입형 미디어는 인상적인 VR 경험을 전달할 수 있습니다. 하지만 VR180은 5,000달러 대의 보다 전문적인 카메라 세팅을 사용하더라도 생성된 콘텐츠의 선명도가 여전히 부족합니다. 선명하고 몰입감 넘치는 3D 콘텐츠를 보다 비용 효율적으로 제작할 수 있다면 VR 시장에도 도움이 될 것입니다.
몰입형 3D 카메라 렌즈의 시야각을 약간 제한하는 것도 새로운 접근 방식이 될 수 있습니다. 하지만 몰입감을 높이기 위해 머리를 어느 정도 움직일 수 있고 시야각의 주변부가 이미지 데이터로 완전히 채워지는 정도까지만 가능합니다. 이는 VR에서 더 높은 이미지 선명도를 달성하기 위한 합리적인 타협점일 수 있습니다. 이는 조만간 Apple 비전 프로와 같이 퀘스트 3보다 해상도가 더 높은 헤드셋을 사용하는 VR 사용자들도 기대할 수 있는 기능입니다.
소문에 따르면 캐논은 2024년 5월 13일 주에 신제품에 대한 주요 발표회를 개최할 예정이라고 합니다. 3D 및 VR 부문에서 더 많은 제품을 볼 수 있기를 기대합니다. 아마도 VR180 및 360° 2D용 접이식 소비자 카메라 분야에서도 마침내 소식이 있을 것입니다.
저자 Daniel Pohl은 immerVR GmbH의 CEO이자 설립자입니다. 이곳에서 Daniel은 몰입형 미디어 분야의 혁신, 주로 VR180 스테레오 사진 분야의 혁신을 위해 매일 노력하고 있습니다. 그의 앱 immerGallery를 사용하면 Meta Quest 헤드셋에서 다양한 VR 형식의 음성 해설과 배경 음악이 포함된 몰입형 사진 갤러리를 친구들과 함께 멀티플레이어로 경험할 수 있습니다.
