https://www.reddit.com/r/AR_MR_XR/comments/18akqcr/videorf_rendering_dynamic_radiance_fields_as_2d/
https://aoliao12138.github.io/VideoRF/
신경 방사 필드(NeRF)는 정적인 장면을 사실적으로 렌더링하는 데 탁월합니다. 하지만 유비쿼터스 디바이스에서 동적이고 장시간 지속되는 방사 필드를 렌더링하는 것은 데이터 저장 및 계산상의 제약으로 인해 여전히 어려운 과제입니다. 이 백서에서는 모바일 플랫폼에서 동적 방사 필드의 실시간 스트리밍 및 렌더링을 가능하게 하는 최초의 접근 방식인 VideoRF를 소개합니다. 핵심은 4D 방사 필드를 모두 하나로 표현하는 직렬화된 2D 특징 이미지 스트림입니다. 유니티는 이 2D 도메인에 직접 적용되는 맞춤형 훈련 체계를 도입하여 피처 이미지 스트림의 시간적, 공간적 중복성을 구현합니다. 이러한 중복성을 활용하여 특징 이미지 스트림을 2D 비디오 코덱으로 효율적으로 압축할 수 있으며, 이를 통해 비디오 하드웨어 가속기를 활용하여 실시간 디코딩을 달성할 수 있음을 보여줍니다. 한편, 특징 이미지 스트림을 기반으로 광도 속성을 효율적으로 쿼리할 수 있는 특수 공간 매핑을 갖춘 VideoRF를 위한 새로운 렌더링 파이프라인을 제안합니다. 디퍼드 셰이딩 모델과 결합된 VideoRF는 효율성 덕분에 모바일 기기에서 실시간 렌더링이 가능합니다. 유니티는 동적 장면의 온라인 스트리밍과 렌더링을 지원하는 실시간 인터랙티브 플레이어를 개발하여 데스크톱부터 모바일에 이르기까지 다양한 기기에서 원활하고 몰입감 넘치는 자유 시점 경험을 제공합니다.
우리가 제안한 VideoRF는 동적 방사 필드를 디퍼드 렌더링과 결합된 2D 피처 비디오 스트림으로 간주합니다. 이 기술은 하드웨어 비디오 코덱과 셰이더 기반 렌더링을 용이하게 하여 다양한 디바이스에서 고품질의 렌더링을 원활하게 수행할 수 있도록 지원합니다.
