https://huggingface.co/papers/2403.13806
900+ FPS의 강력한 실시간 렌더링을 위한 방사 필드 정보 가우시안 스플래팅
최근 뷰 합성 및 실시간 렌더링의 발전으로 놀라운 렌더링 속도로 사실적인 퀄리티를 구현할 수 있게 되었습니다. 래디언스 필드 기반 방식은 야생 촬영이나 대규모 장면과 같은 까다로운 시나리오에서 최첨단 품질을 구현하지만, 볼류메트릭 렌더링과 관련된 지나치게 높은 컴퓨팅 요구 사항으로 인해 어려움을 겪는 경우가 많습니다. 반면 가우시안 스플래팅 기반 방식은 래스터화에 의존하며 실시간 렌더링을 자연스럽게 구현하지만, 최적화 휴리스틱이 취약해 까다로운 장면에서 성능이 저하되는 문제가 있습니다. 이 글에서는 복잡한 장면의 강력한 실시간 렌더링을 위한 경량화 방법인 RadSplat을 소개합니다. 유니티의 주요 기여는 세 가지입니다. 먼저, 포인트 기반 장면 표현을 최적화하기 위한 사전 및 감독 신호로 방사 필드를 사용하여 품질을 개선하고 더욱 강력한 최적화를 이끌어냅니다. 다음으로, 고품질을 유지하면서 전체 포인트 수를 줄이는 새로운 가지치기 기법을 개발하여 더 작고 간결한 장면 표현과 더 빠른 추론 속도를 이끌어냅니다. 마지막으로 렌더링 속도를 더욱 가속화하고 더 큰 집 크기의 장면으로 확장할 수 있는 새로운 테스트 시간 필터링 접근법을 제안합니다. 이 방법을 사용하면 복잡한 캡처를 900FPS 이상으로 최첨단 합성할 수 있습니다.
