저전력 Edge-AI 기능은 Metaverse의 비전을 지원하는 온디바이스 확장 현실(XR) 애플리케이션에 필수적입니다. 여기서 XR 워크로드 중 대표적인 두가지인 손 감지 및 눈 세부화에 대해서 조사합니다. 두 응용 프로그램 모두에 대해 심층 신경망을 훈련하고 양자화 및 하드웨어별 병목 현상의 영향을 분석합니다. 시뮬레이션을 통해 CPU와 두 개의 수축기 추론 가속기 구현을 평가합니다. 다음으로 이러한 하드웨어 솔루션을 고급 기술 노드와 비교합니다. 최신 비휘발성 메모리 기술(STT/SOT/VGSOT MRAM)을 XR-AI 추론 파이프라인에 통합할 때의 영향이 평가됩니다. 우리는 7nm 노드에서 설계된 메모리 계층 구조에 비휘발성 메모리를 도입하여 상당한 에너지 이점(> =80%)을 얻으면서 최소 IPS(초당 추론)를 충족하고 손 감지(IPS=40) 및 눈 세부화(IPS=6)를 달성할 수 있습니다. 또한 기존 SRAM에 비해 MRAM의 작은 폼 팩터로 인해 면적을 크게 줄일 수 있습니다(>=30%).

https://arxiv.org/abs/2206.06780

손 감지는 핸드 트래킹을 이야기하고 있으며

눈 세부화는 아이 트래킹에서 눈동자, 홍채, 공막과 같은 눈에 대한 영역을 나누는 것이며 시선을 추적할 수도 있고 안구 움직임을 연구하는데 광범위하게 사용될 수 있어 사용자 경험을 최적화 할때 XR 디스플레이 설계에 필수적입니다.