• 우리는 radiance field로 매개변수화된 3D 장면의 분포를 포착하는 생성 모델인 GAUDI를 소개합니다.
• 우리는 생성 모델을 두 단계로 분해합니다. (i) 3D 복사 필드 및 해당 카메라 포즈의 잠재 표현 최적화. (ii) 잠재 공간에 대한 강력한 점수 기반 생성 모델 학습.
• GAUDI는 조건부 생성을 위해 여러 데이터 세트에서 최첨단 성능을 얻고 텍스트 또는 RGB 이미지와 같은 다양한 양식에서 3D 장면의 조건부 생성을 가능하게 합니다.

가우디 를 소개 합니다, 움직이는 카메라에서 몰입적으로 렌더링할 수 있는 복잡하고 사실적인 3D 장면의 분포를 캡처할 수 있는 생성 모델입니다. 우리는 확장 가능하면서도 강력한 접근 방식으로 이 도전적인 문제를 해결합니다. 여기서 먼저 광도 필드와 카메라 포즈를 분리하는 잠재 표현을 최적화합니다. 이 잠재 표현은 3D 장면의 무조건 및 조건 생성을 모두 가능하게 하는 생성 모델을 학습하는 데 사용됩니다. 우리 모델은 카메라 포즈 분포가 샘플 간에 공유될 수 있다는 가정을 제거하여 단일 개체에 중점을 둔 이전 작업을 일반화합니다.

이 리포지토리는 연구 논문 ARKitScenes - 모바일 RGB-D 데이터를 사용하여 3D 실내 장면 이해를 위한 다양한 실제 데이터 세트와 함께 제공되며 데이터, 에셋을 시각화 및 처리하기 위한 스크립트 및 우리 논문에 설명된 교육 코드를 포함합니다.