Meta Reality Labs 수석 과학자의 분산 컴퓨팅 아키텍쳐에 관한 이야기

https://www.roadtovr.com/michael-abrash-iedm-2021-compute-architecture-for-ar-glasses/

https://www.facebook.com/MetaResearch/videos/1587970398245823/

AR 글래스가 보다 소비자에게 매력적으로 다가오기위해서는 지금과는 달리 좀 더 컴팩트해지고 사용시간도 늘어나야하며 성능 또한 향상되어야하며 하루종일 착용하기에는 너무 무겁습니다.

진정한 안경 사이즈의 적절한 성능을 갖춘 AR 글래스를 제작하기 위해서는 하드웨어와 소프트웨어에서 급격한 발전이 필요합니다. (경우에 따라서는 패러다임이 바뀌거나)

결국 현재 기술의 시점에서는 모두가 상상하고 있는 AR 글래스를 만들어 낼 수가 없다는 이야기입니다.

어떻게 해야 전력 효율을 급격하게, 100배에서 1000배까지 올릴 수 있을까요? 깊은 시스템 레벨의 새로운 재설계와 하드웨어부터 소프트웨어에서 종단 간 공동 설계가 필요합니다.

전력 다이어트

에너지가 제일 많이 사용되는 연산 작업은 데이터 전송에 있습니다. 이는 무선 데이터를 전달하는 것만을 이야기하는 것이 아니라 장치 내부의 한 칩에서 다른 칩으로 데이터를 전송하는 것도 포함됩니다.

차트는 로그 스케일을 사용하는데, RAM으로 데이터를 전송하는 데에는 기본 장치의 12000배의 전력이 소모되게 됩니다.

특히 AR에서 제일 중요한 기술인 SLAM과 핸드 트래킹이 RAM으로 데이터를 전송하는것만으로 대부분의 전력을 소모하고 있습니다.

Abrash에 의하면 데이터 전송량을 최대한 줄이는것이 분명히 중요하다고 언급합니다.

??? 여기서 데이터를 처리한다고??

분산 컴퓨팅 아키텍쳐에서 제일 처음 시작되는 부분은 AR 글래스가 사용자 주변의 세상을 감지하는데에 사용되는 많은 카메라들 입니다.

이 부분에는 데이터가 전송되기 전, 카메라 센서 자체에서 일부 연산을 진행하고 중요한 데이터만 전송하는 것이 있습니다.

이를 가능케하기 위해서는 하드웨어와 소프트웨어가 동시에 디자인 되어야하고 카메라 센서에서 데이터를 전송하기 전에 미리 데이터를 처리하는 알고리즘을 내장하고 이를 지원하도록 디자인 된 하드웨어가 필요하다고 합니다.

저전력을 달성하고 원하는 기능을 포함시키고 최대한 작은 폼팩터를 통해 XR 센서는 이미지 센서 업계의 새로운 개척자가 될 수 있습니다.

즉, 기존과 같이 일부 연산 칩셋에 데이터를 종합해서 처리하는 것이 아니라, 센서에서 직접 처리를 한 후 필요한 데이터만 전송하여 전력 효율을 높인다는 것입니다.

도메인별 센서

이 센서는 3가지 다른 조명 레벨에서 모든 픽셀의 디지털 조명 값을 동시에 캡처하는 소위 디지털 픽셀 센서 어레이를 사용합니다. 각 픽셀에는 데이터를 저장하기 위한 자체 메모리가 있으며 세 가지 값 중 보고할 값을 결정할 수 있습니다. 즉, 모든 데이터를 전송하고 다른 칩에서 처리하는 것이 아니라, 취사 선택을 센서 자체에서 진행하는 것입니다.