마소 엔지니어에게 GPT-6 트레이닝을 위한 클러스터 프로젝트에 대해 들었다. 그는 서로 다른 지역에 있는 GPU들에 인피니밴드 연결을 지원하는게 얼마나 어려운 일인지에 대해 자주 불평하였다.
질문: 왜 클러스터들을 동일한 지역에 모아두지 않은거야?
마소 답: 아 우리도 처음에 그렇게 함. 근데 한 주(state)에 H100을 10만개 이상 놓으면 파워그리드 전체가 다운돼 버리더라고
한 주에서 H100 10만개 이상을 쓰지 못해 클러스터를 구성 중이란걸 보면 수십만개 써서 트레이닝 중인가봄
찌라시라서 뉴스탭 땟음
구독자 2765명
알림수신 78명
각 채널의 개념글을 모은 게시판입니다.
AI 채팅
일반
마소는 H100 10만개로 GPT6 트레이닝중
추천
19
비추천
0
댓글
9
조회수
591
작성일
수정일
댓글
[9]
고구마
cyrus
coa
K아논
![유저 그라바타 이미지](http://ac.namu.la/20230530sac/a1b4d0ed25f9940da2925648f9402dd07041b01732f2c5ac60fe935c5da834d3.png?expires=1718809496&key=CHt0q_8AmtZqp4oREPFwng)
휘진
![유저 그라바타 이미지](http://ac.namu.la/20220108s2/32772fac6ee3f5760a09518bbab51f464ab8e17bdeec1cf4a1e494c09f1e1d65.png?expires=1718809496&key=b-0vh2XAE6myOoOTjFXCCQ)
Dekamik
![유저 그라바타 이미지](http://ac.namu.la/20230904sac/0fe22bdaf580ae6f3bc247feef6800e029331213bafabd8b7c874438d9c1cc10.png?expires=1718809496&key=N-XwhmtJ5QeFVMCUXq2bow)
Sks
![유저 그라바타 이미지](http://ac.namu.la/20230802sac/da5aa4adc21ec443d1b707c53dac2696b82b92d45d7cae4aafa103a1783fed45.png?expires=1718809496&key=XWGjpn-71cLe9PnX4qcjXQ)
사카마타보다안씻는사육원
![유저 그라바타 이미지](http://ac.namu.la/20231130sac/29f2e5b2961f1af6754ed2c0070f37d8c7d2e771ecea6bd7f5773ce037487087.jpg?expires=1718809496&key=AAzXXSjyToAUG871J0sG9A)
Londobell
본 게시물에 댓글을 작성하실 권한이 없습니다.
로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
31454060