https://arxiv.org/abs/2206.08428
사람의 애니메이션 및 재조명 가능한 고품질 3D 아바타를 만드는 데 있어 고유한 과제는 사람의 눈을 모델링하는 것입니다.
눈을 합성하는데에 있어서의 과제는 주로 다음과 같습니다.
1) 눈의 다양한 구성 요소에 대한 표현, 일관된 시점 합성을 위한 안구 주변 영역에 대한 적절한 표현, 확산, 굴절 및 고반사 표면의 표현들을 적절하게 할 수 있어야합니다.
2) 새로운 조명 환경에서 적절하게 렌더링 될 수 있도록 피부와 눈 모양을 환경으로부터 분리해야 합니다.
3) 안구의 움직임과 주변 피부의 변형을 캡쳐하여 다시 시선을 만들어내야 합니다.
이러한 문제로 인해 전통적인 방식에서는 고품질의 결과를 얻기 위해 비싸고 번거로운 캡처 방식을 사용해야 했으며, 그럼에도 불구하고 전체적인 눈 영역의 모델링은 여전히 어려웠습니다.
우리는 충실도 높은 캡처 및 사실적 애니메이션, 시선 합성을 희박한 조명 및 카메라 세트만으로도 눈 영역의 재조명을 가능하게 하는 새로운 기하학 및 모양 표현을 제시합니다. 우리의 하이브리드 표현은 안구에 대한 명시적 매개변수 표면 모델과 안구주위 영역 및 눈 내부에 대한 암시적 변형 가능한 체적 표현을 결합합니다.
이 새로운 하이브리드 모델은 까다로운 얼굴 영역의 다양한 부분을 처리하도록 설계되었습니다. - 명시적 안구 표면은 각막에서 굴절 및 고주파수 경면 반사를 모델링할 수 있는 반면, 암시적 표현은 구형 고조파를 통한 저주파 피부 반사를 모델링하는 데 적합하며 두 가지 모두 명시적 도전인 머리카락 또는 산포 부피 신체와 같은 비표면 구조를 나타낼 수 있습니다.
우리는 고해상도 눈 클로즈업의 경우, 우리의 모델이 새로운 조명 조건에서 높은 충실도의 애니메이션 시선을 합성할 수 있음을 보여줍니다.
