https://www.reddit.com/r/AR_MR_XR/comments/109ydrn/from_a_human_motion_sequence_summon_synthesizes/
https://lijiaman.github.io/projects/summon/
인간 동작의 장면 합성
다양하고 복잡한 장면에서 사람의 동작을 대규모로 캡처하는 것은 매우 유용하지만 종종 엄청나게 비용이 많이 드는 것으로 간주됩니다. 한편 인간의 움직임만으로도 그들이 상주하고 상호 작용하는 장면에 대한 풍부한 정보가 포함되어 있습니다. 예를 들어, 앉아 있는 인간은 의자의 존재를 암시하고, 그들의 다리 위치는 더 나아가 의자의 자세를 암시합니다. 본 논문에서는 인간의 움직임을 기반으로 다양하고 의미적으로 합리적이며 물리적으로 그럴듯한 장면을 합성할 것을 제안한다. 우리의 프레임워크인 HUMan MotiON(SUMMON)의 장면 합성에는 두 단계가 포함됩니다. 먼저 새로 도입된 접촉 예측기인 ContactFormer를 사용하여 사람의 움직임에서 시간적으로 일관된 접촉 레이블을 얻습니다. 이러한 예측을 기반으로 SUMMON은 상호 작용하는 개체를 선택하고 물리적 타당성 손실을 최적화합니다. 인간과 상호 작용하지 않는 개체로 장면을 더 채웁니다. 실험 결과는 SUMMON이 실행 가능하고 그럴듯하며 다양한 장면을 합성하고 커뮤니티를 위한 광범위한 인간-장면 상호 작용 데이터를 생성할 수 있는 잠재력을 가지고 있음을 보여줍니다.
