https://www.reddit.com/r/AR_MR_XR/comments/11nn609/neural_radiance_fields_for_street_views/
https://ziyang-xie.github.io/s-nerf/
NeRF(Neural Radiance Fields)는 중첩이 큰 객체 중심 카메라 뷰가 주어지면 객체와 장면의 새로운 뷰를 합성하는 것을 목표로 합니다. 그러나 우리는 이 패러다임이 대규모 무제한 장면에서 많은 자율주행차가 수집하는 스트리트 뷰의 특성과 맞지 않는다는 점을 활용합니다. 또한 온보드 카메라는 많이 겹치지 않고 장면을 인식합니다. 따라서 기존 NeRF는 종종 스트리트 뷰 합성에서 블러, "플로터" 및 기타 아티팩트를 생성합니다. 본 논문에서는 대규모 배경 장면과 전경 이동 차량 모두의 새로운 뷰 합성을 공동으로 고려한 새로운 스트리트 뷰 NeRF(S-NeRF)를 제안한다. 구체적으로 스트리트 뷰에서 더 나은 신경 표현을 학습하기 위해 장면 매개변수화 기능과 카메라 포즈를 개선합니다. 또한 시끄럽고 희소한 LiDAR 포인트를 사용하여 교육을 강화하고 강력한 기하학 및 재투영 기반 신뢰도를 학습하여 깊이 이상값을 해결합니다. 또한 기존 NeRF로는 불가능한 움직이는 차량을 재구성하기 위해 S-NeRF를 확장합니다. 대규모 주행 데이터 세트(예: nuScenes 및 Waymo)에 대한 철저한 실험은 우리의 방법이 타 방식에 비하여 스트리트 뷰 합성에서 평균 제곱 오차의 7~40%를 감소시키고 움직이는 차량 렌더링에 대하여 45% PSNR 이득을 얻었습니다.
