https://youtu.be/UatBje_JIYE

AR/VR 기기는 사용자 상호 작용을 지원하기 위해 컨트롤러 대신 손 트래킹을 채택하기 시작했습니다. 하지만 오늘날의 손 입력은 주로 핀치라는 한 가지 제스처에 의존합니다. 게다가 현재 손 동작을 VR 이동 및 콘텐츠 스크롤과 같은 사용 사례에 매핑하려면 조이스틱이나 트랙패드 사용보다 더 복잡하고 큰 팔 동작이 필요합니다. STMG는 헤드셋에서 실행되는 골격 추적에서 엄지손가락 기반의 작은 마이크로 제스처를 추가로 인식하여 제스처 공간을 늘립니다. 유니티는 머신러닝 접근 방식을 채택하여 검지 표면에서 수행되는 엄지손가락의 네 가지 방향(왼쪽, 오른쪽, 앞으로, 뒤로) 스와이프, 엄지 탭, 손가락 끝 핀치 시작 및 핀치 끝 등 7가지 제스처에 대해 95.1%의 인식 정확도를 달성했습니다. 머신러닝 파이프라인의 구성 요소를 자세히 설명하고, 잘 일반화된 모델을 생성하기 위해 내린 설계 결정과 교훈을 강조합니다. 그런 다음 이러한 마이크로 제스처가 어떻게 손 기반 이동 및 스크롤 상호 작용에서 팔 동작을 단순화하고 줄이는지 시연합니다.

https://programs.sigchi.org/chi/2024/program/content/146737