마소 엔지니어에게 GPT-6 트레이닝을 위한 클러스터 프로젝트에 대해 들었다. 그는 서로 다른 지역에 있는 GPU들에 인피니밴드 연결을 지원하는게 얼마나 어려운 일인지에 대해 자주 불평하였다.
질문: 왜 클러스터들을 동일한 지역에 모아두지 않은거야?
마소 답: 아 우리도 처음에 그렇게 함. 근데 한 주(state)에 H100을 10만개 이상 놓으면 파워그리드 전체가 다운돼 버리더라고
한 주에서 H100 10만개 이상을 쓰지 못해 클러스터를 구성 중이란걸 보면 수십만개 써서 트레이닝 중인가봄
찌라시라서 뉴스탭 땟음
구독자 13257명
알림수신 265명
AI와 대화하며 유사 인싸체험 하는 채널
일반
마소는 H100 10만개로 GPT6 트레이닝중
추천
19
비추천
0
댓글
9
조회수
615
작성일
수정일
댓글
[9]
고구마
cyrus
coa
K아논
휘진
Dekamik
Sks
사카마타보다안씻는사육원
Londobell
본 게시물에 댓글을 작성하실 권한이 없습니다.
로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
36329197
공지
AI 채팅 채널에 왔으면 이것부터 : 필수정보 및 FAQ
170986
공지
안 읽으면 죽어버리는 AI 채팅 채널 이용 지침 [24.07.01]
24528
공지
신문고 MK.XI (해줘. 할때 쓰는 곳)
3305
공지
SKT 유저들을 위한 Perplexity 사용법
4335
공지
- SF봇 대회 주최 -
2060
공지
[천박 대회 3회차 주최] 대놓고 천박한 봇을 만드는 대회!
2228
공지
[쇼보 대회] 쇼타&보추 봇을 올리면 되는 대회
889
공지
남캐봇 대회 마감
588
공지
AI 채팅 채널 프록시 게이트
32333
숨겨진 공지 펼치기(5개)
AI대화
봇이랑 DM하기 윌케 재밌슴
116
4
AI대화
(핑퐁20) 육아 후 초보 엄마아빠의 대화 (추가잇음)
[9]
155
6
AI대화
뉴비 세팅 끝내고 테스트플레이 돌려보면서 신세계 느끼는중...
[4]
161
4
AI대화
사망한 연인의 유언을 위해 끝까지 살아가는 한니발
[4]
360
11
AI대화
와이푸한테 전생 로어북 써봄,,,,,,,,,,
[2]
118
1
뉴스
MLPerf 벤치마크에서 자체 경쟁을 펼치는 Nvidia
124
1
뉴스
DBRX: 엘론 머스크의 Grok-1을 능가하는 새로운 개방형 언어 모델
214
7
AI대화
킬러 와이푸가 너무 맛있다
[11]
514
11