https://the-decoder.com/metas-next-gen-mtia-chip-triples-ai-performance-reducing-reliance-on-nvidia/
https://ai.meta.com/blog/next-generation-meta-training-inference-accelerator-AI-MTIA/

메타가 자체 개발한 차세대 AI 칩 MTIA의 세부 정보를 공개했습니다. 메타에 따르면, 이 새로운 칩은 이전 칩보다 최대 3배 더 강력하며 이미 메타의 광고 및 랭킹 프로세스에 사용되고 있습니다.

메타는 자사의 AI 워크로드를 추론하기 위해 특별히 개발 중인 칩 제품군인 차세대 메타 트레이닝 및 추론 가속기(MTIA)에 대한 새로운 세부 정보를 발표했습니다.

메타에 따르면 새 버전의 MTIA는 이전 버전보다 컴퓨팅 및 메모리 대역폭을 두 배로 늘리면서도 메타의 워크로드에 대한 긴밀한 연결을 유지합니다.

이 아키텍처는 메타의 광고 순위 및 추천 모델을 위한 처리 능력, 대역폭, 스토리지 용량 간의 적절한 균형을 맞추는 데 중점을 두고 있습니다.

또한 GenAI 워크로드에 대한 지원을 포함하여 MTIA의 범위를 확장하기 위한 여러 프로그램이 진행 중입니다.

Meta는 또한 소프트웨어 수준을 최적화하고 MTIA 하드웨어를 위한 "고성능 코드"를 생성하는 로우레벨 컴파일러인 Triton-MTIA를 개발했습니다.

초기 결과에 따르면 새 칩은 이미 1세대 칩에 비해 4개 주요 모델의 성능이 3배 향상되었다고 합니다. Meta는 전체 스택을 제어하기 때문에 상용 GPU에 비해 더 높은 효율성을 달성할 수 있습니다.

새로운 칩은 AI 모델을 실행할 뿐만 아니라 훈련하는 데도 사용되는 일부 영역에서 메타의 엔비디아 그래픽 카드에 대한 의존도를 줄일 수 있지만, 이를 대체할 수는 없습니다.

메타의 CEO 마크 주커버그는 최근 연말까지 총 약 60만 대의 그래픽 카드에 34만 대의 Nvidia H100 GPU를 사용할 것이라고 발표했습니다. 이로써 Meta는 엔비디아의 최대 고객 중 하나가 되었습니다.

자체 AI 칩에 투자하는 회사는 메타뿐만이 아닙니다. Google은 이전 세대보다 2배 이상 많은 FLOPS와 3배 더 많은 고속 메모리를 제공하는 새로운 버전인 TPU v5p를 공개했습니다. Google은 이 칩이 학습, 미세 조정 및 추론을 지원하는 범용 AI 프로세서라고 설명합니다.