https://www.reddit.com/r/AR_MR_XR/comments/10a8oez/novel_video_view_synthesis_with_differential/

https://light.princeton.edu/publication/point-based-radiance-fields/


효율적인 뷰 합성을 위한 차별화 가능한 포인트 기반 방사 필드


효율적인 새로운 뷰 합성을 위한 차별화 가능한 렌더링 알고리즘을 제안합니다. 학습된 포인트 표현을 선호하는 볼륨 기반 표현에서 출발하여 교육 및 추론 모두에서 메모리 및 런타임의 한 자릿수 이상으로 기존 방법을 개선합니다. 이 방법은 균일하게 샘플링된 무작위 포인트 클라우드로 시작하여 차별화 가능한 스플랫 기반 렌더러를 사용하여 주어진 포즈로 입력 트레이닝 이미지 세트를 재현하도록 모델을 트레이닝하여 포인트당 위치 및 뷰 종속 모양을 학습합니다. 우리의 방법은 훈련과 추론 모두에서 NeRF보다 최대 300배 빠르며 정적 장면에 대해 10MB 미만의 메모리를 사용하면서 품질은 약간만 희생합니다. 동적 장면의 경우 우리의 방법은 STNeRF보다 2배 더 빠르게 훈련하고 거의 대화식 속도로 렌더링합니다.