https://www.biorxiv.org/content/10.1101/2024.02.23.581779v1
지난 10년 동안 메타 리얼리티 랩(이전의 CTRL 랩)의 저희 팀은 신경 운동 인터페이스 개발에 전념해 왔습니다.
우리의 목표는 컴퓨터에 쉽고 직관적이며 효율적인 입력을 제공하는 인간 컴퓨터 상호작용의 과제를 해결하는 것입니다.
표면 근전도(sEMG)를 통해 손목과 손의 근육 활동을 비침습적으로 감지하기 위해 쉽게 착용하고 제거할 수 있는 손목 밴드 장치를 개발했습니다. sEMG 기술은 피부의 금속 접촉부를 이용해 근육 활동을 감지하여 의도적인 신경 운동 명령을 컴퓨터 입력으로 변환할 수 있게 해줍니다.
https://twitter.com/SussilloDavid/status/1762960427456061608
저희는 연구에 참여한 수천 명의 유료 지원자의 데이터로 훈련된 일반적인 손목 기반 sEMG 신경망 디코딩 모델을 만들었습니다.
이 모델은 모든 사람에게 일반화되므로 생체 신호 인터페이스에서 전통적으로 문제가 되었던 개인별 또는 세션별 보정의 필요성을 제거합니다.
아래는 훈련 데이터 세트의 참가자 수가 증가함에 따라 오프라인 필기 해독 성능이 어떻게 향상되는지 보여줍니다.
예를 들어 6000명 이상의 사용자 데이터로 모델을 학습시킨 경우 오프라인에서 7%의 문자 오류율(14자당 약 1건의 오류)을 달성하여 모바일 타이핑과 비슷한 오류율에 근접하고 있습니다.
초보 사용자를 대상으로 디코더의 성능을 평가하기 위해 1D 연속 탐색(왼쪽), 개별 제스처 감지(가운데), 필기(오른쪽)를 포함하는 폐쇄 루프 테스트를 실시했습니다.
https://twitter.com/SussilloDavid/status/1762960432489226364
처음 밴드를 착용한 지 몇 분 만에 테스트 사용자는 다음과 같은 제스처 디코딩의 폐쇄 루프 평균 성능을 보여주었습니다:
- 1D 연속 탐색(손목 제어): 2초마다 목표물 획득
- 개별 제스처: 초당 한 번 미만의 제스처
- 필기: 분당 17.0개의 조정된 단어.
이것은 시작에 불과합니다! 우리는 개별 참가자를 위해 최소한의 미세 조정만으로 필기 모델을 개인화하면 성능이 30% 향상될 수 있다는 사실을 발견했습니다. 더욱 광범위한 훈련 데이터 세트를 수집하고 개인이 자신의 고유한 필기 스타일에 맞게 모델을 맞춤화할 수 있는 상황에 모델을 배포함에 따라, sEMG 해독 모델은 계속 발전할 것입니다.
https://twitter.com/SussilloDavid/status/1762960437304250419
현재까지 알려진 바로는 생체신호를 활용하여 개인 간에 즉시 일반화할 수 있는 고대역폭 신경운동 인터페이스는 이 기술이 처음입니다. 패트릭 카이포쉬와 @TRReardon이 주도한 이 성과는 수백 명의 과학 및 공학적 노력의 결과이며, 과학 저널 사전 인쇄물(아래 링크)에 문서화되었습니다.
https://twitter.com/SussilloDavid/status/1762960439758008489
