https://www.reddit.com/r/AR_MR_XR/comments/zl0l8v/nerfeditor_takes_360_video_as_input_outputs/

https://chuny1.github.io/NeRFEditor/nerfeditor.html

우리는 360° 이상에서 캡처된 비디오를 입력으로 가져와 고품질의 신원 보존 양식화된 3D 장면을 출력하는 3D 장면 편집을 위한 효율적인 학습 프레임워크인 NeRFEditor를 제시합니다. 우리의 방법은 참조 이미지, 텍스트 프롬프트 및 사용자 상호 작용에 의한 안내와 같은 다양한 유형의 편집을 지원합니다.

우리는 미리 훈련된 StyleGAN 모델과 NeRF 모델이 서로에게서 배우도록 장려함으로써 이를 달성합니다. 구체적으로 우리는 NeRF 모델을 사용하여 수많은 이미지-각도 쌍을 생성하여 조정자를 훈련시키고 StyleGAN 잠재 코드를 조정하여 주어진 각도에 대해 고충실도 스타일 이미지를 생성할 수 있습니다. 편집을 도메인 외부 보기로 추정하기 위해 자체 지도 학습 방식으로 훈련된 또 다른 모듈을 고안했습니다. 이 모듈은 새로운 보기 이미지를 StyleGAN의 숨겨진 공간에 매핑하여 StyleGAN이 새로운 보기에서 양식화된 이미지를 생성할 수 있도록 합니다. 이 두 모듈은 함께 360° 뷰에서 가이드 이미지를 생성하여 NeRF를 미세 조정하여 스타일화 효과를 만들고 이를 달성하기 위해 안정적인 미세 조정 전략이 제안됩니다.

실험에 따르면 NeRFEditor는 더 나은 편집 가능성, 충실도 및 정체성 보존으로 벤치마크 및 실제 장면에서 이전 작업을 능가합니다.

실시간 인코딩