https://www.reddit.com/r/AR_MR_XR/comments/10jd3nk/microsoft_project_3d_avatar_diffusion_avatar/
https://3d-avatar-diffusion.microsoft.com/
Rodin: 확산을 사용하여 3D 디지털 아바타 조각을 위한 생성 모델
본 논문은 신경 복사장으로 표현되는 3D 디지털 아바타를 자동으로 생성하기 위해 확산 모델을 사용하는 3D 생성 모델을 제시한다. 이러한 아바타를 생성하는 데 있어 중요한 문제는 고품질 아바타에 필요한 풍부한 세부 정보를 생성하는 데 3D의 메모리 및 처리 비용이 엄두도 못 낼 정도로 많다는 것입니다. 이 문제를 해결하기 위해 롤아웃 확산 네트워크(Rodin)를 제안합니다. 이 네트워크는 신경 방사 필드를 여러 2D 기능 맵으로 나타내고 이러한 맵을 단일 2D 기능 평면으로 롤아웃하여 3D 인식 확산을 수행합니다. Rodin 모델은 3D의 원래 관계에 따라 2D 형상 평면에 투영된 형상에 주의를 기울이는 3D 인식 컨볼루션을 사용하여 3D에서 확산의 무결성을 유지하면서 절실히 필요한 계산 효율성을 제공합니다. 또한 잠재 컨디셔닝을 사용하여 글로벌 일관성을 위한 기능 생성을 조율하여 충실도가 높은 아바타를 만들고 텍스트 프롬프트를 기반으로 의미론적 편집을 가능하게 합니다. 마지막으로 계층적 합성을 사용하여 세부 사항을 더욱 향상시킵니다. 우리 모델로 생성된 3D 아바타는 기존의 생성 기술로 생성된 아바타와 비교할 때 유리합니다. 우리는 사실적인 헤어스타일과 턱수염과 같은 수염을 가진 매우 상세한 아바타를 생성할 수 있습니다. 또한 이미지나 텍스트에서 3D 아바타 생성과 텍스트 안내 편집 가능성을 시연합니다. 우리 모델로 생성된 3D 아바타는 기존의 생성 기술로 생성된 아바타와 비교할 때 유리합니다. 우리는 사실적인 헤어스타일과 턱수염과 같은 수염을 가진 매우 상세한 아바타를 생성할 수 있습니다. 또한 이미지나 텍스트에서 3D 아바타 생성과 텍스트 안내 편집 가능성을 시연합니다. 우리 모델로 생성된 3D 아바타는 기존의 생성 기술로 생성된 아바타와 비교할 때 유리합니다. 우리는 사실적인 헤어스타일과 턱수염과 같은 수염을 가진 매우 상세한 아바타를 생성할 수 있습니다. 또한 이미지나 텍스트에서 3D 아바타 생성과 텍스트 안내 편집 가능성을 시연합니다.
텍스트로는 설명이 어려우니 웹페이지 참조하는게 이해에 도움이 될 것
