https://moygcc.github.io/vid2avatar/
초록
단안 야생 동영상에서 인간 아바타를 학습하는 방법인 Vid2Avatar를 소개합니다. 단안 야생 동영상에서 자연스럽게 움직이는 인간을 재구성하는 것은 어렵습니다. 이를 해결하려면 인간을 임의의 배경에서 정확하게 분리해야 합니다. 또한 짧은 비디오 시퀀스에서 상세한 3D 표면을 재구성해야 하므로 훨씬 더 어렵습니다. 이러한 문제에도 불구하고, 우리의 방법은 옷을 입은 인간 스캔의 대규모 데이터 세트에서 추출된 지상 진실 감독이나 사전이 필요하지 않으며 외부 분할 모듈에 의존하지도 않습니다. 대신 두 개의 개별 신경 필드를 통해 매개변수화된 장면의 사람과 배경을 공동으로 모델링하여 장면 분해 및 표면 재구성 작업을 3D로 직접 해결합니다. 구체적으로, 표준 공간에서 시간적으로 일관된 인간 표현을 정의하고 배경 모델, 표준 인간 모양 및 질감, 프레임별 인간 포즈 매개변수에 대한 전역 최적화를 공식화합니다. 볼륨 렌더링 및 새로운 대물렌즈를 위한 대략적인 샘플링 전략이 도입되어 동적 인간 및 정적 배경을 깔끔하게 분리하여 상세하고 강력한 3D 인간 형상 재구성을 생성합니다. 공개적으로 사용 가능한 데이터 세트에 대한 방법을 평가하고 선행 기술에 대한 개선 사항을 보여줍니다. 상세하고 강력한 3D 인간 기하학 재구성을 생성합니다. 공개적으로 사용 가능한 데이터 세트에 대한 방법을 평가하고 선행 기술에 대한 개선 사항을 보여줍니다. 상세하고 강력한 3D 인간 기하학 재구성을 생성합니다. 공개적으로 사용 가능한 데이터 세트에 대한 방법을 평가하고 선행 기술에 대한 개선 사항을 보여줍니다.
