https://the-decoder.com/intel-takes-aim-at-nvidia-with-new-gaudi-3-ai-chip/
https://www.intel.com/content/www/us/en/newsroom/news/vision-2024-enterprise-ai-gaudi-3-open-systems-strategy.html

인텔은 비전 2024에서 새로운 AI 가속기인 가우디 3를 공식적으로 소개했습니다.

인텔에 따르면, 가우디 3는 7B 및 13B 파라미터의 라마2 모델과 175B 파라미터의 GPT-3 모델의 훈련 시간을 엔비디아 H100에 비해 약 50% 단축할 수 있을 것으로 예상됩니다. 또한 Gaudi 3는 추론 처리량 측면에서 모델에 따라 평균 약 50%, 30% 정도 H100 및 H200 GPU를 능가할 것으로 예상됩니다.

표준 가우디 3는 12.8TB/s 대역폭의 96MB 온보드 SRAM 캐시와 3.7TB/s 피크 대역폭의 128GB HBM2e 메모리를 갖추고 있습니다. 인텔에 따르면 이 칩은 이전 제품 대비 2배의 FP8 및 4배의 BF16 처리 능력과 2배의 네트워크 대역폭, 1.5배의 메모리 대역폭을 제공합니다. 또한 5nm AI 가속기는 H100보다 훨씬 저렴하다고 합니다. 하지만 엔비디아는 이미 Blackwell 아키텍처를 적용한 새로운 제품을 보유하고 있습니다.

인텔, AI를 위한 개방형 플랫폼 계획

Gaudi 3를 통해 기업은 단일 노드에서 메가 클러스터에 이르기까지 최대 수만 개의 가속기를 사용하여 AI 시스템을 유연하게 확장할 수 있습니다. 인텔은 개방형 커뮤니티 기반 소프트웨어와 표준화된 이더넷 네트워킹에 의존하고 있습니다. 가우디 3는 2024년 2분기부터 델, HPE, 레노버, 슈퍼마이크로를 비롯한 OEM에 제공될 예정입니다. 에어텔, 보쉬, IBM, 네이버, SAP 등 인텔 가우디 액셀러레이터의 새로운 고객 및 파트너사도 소개되었습니다.

인텔은 또한 SAP, 레드햇, VM웨어 등의 파트너와 함께 엔터프라이즈 AI를 위한 개방형 플랫폼을 구축할 계획입니다. RAG(검색 증강 세대) 접근 방식에 기반한 안전한 GenAI 시스템 도입을 가속화하는 것이 목표입니다. 이를 통해 독점 데이터 소스를 오픈 소스 언어 모델과 결합할 수 있습니다.