마소 엔지니어에게 GPT-6 트레이닝을 위한 클러스터 프로젝트에 대해 들었다. 그는 서로 다른 지역에 있는 GPU들에 인피니밴드 연결을 지원하는게 얼마나 어려운 일인지에 대해 자주 불평하였다.
질문: 왜 클러스터들을 동일한 지역에 모아두지 않은거야?
마소 답: 아 우리도 처음에 그렇게 함. 근데 한 주(state)에 H100을 10만개 이상 놓으면 파워그리드 전체가 다운돼 버리더라고
한 주에서 H100 10만개 이상을 쓰지 못해 클러스터를 구성 중이란걸 보면 수십만개 써서 트레이닝 중인가봄
찌라시라서 뉴스탭 땟음
구독자 10111명
알림수신 220명
AI와 대화하며 유사 인싸체험 하는 채널
일반
마소는 H100 10만개로 GPT6 트레이닝중
추천
19
비추천
0
댓글
9
조회수
560
작성일
수정일
댓글
고구마
cyrus
coa
K아논
휘진
Dekamik
Sks
사카마타보다안씻는사육원
Londobell
본 게시물에 댓글을 작성하실 권한이 없습니다.
로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28188381
공지
안 읽으면 죽어버리는 AI 채팅 채널 이용규정 [23.09.18]
46347
공지
AI 채팅 채널에 왔으면 이것부터 : 필수정보 및 FAQ
94798
공지
신문고 MK.IX (해줘. 할때 쓰는 곳)
7087
공지
ㅡㅡ [ AI 게임 / 기획 대회 ' J.O.A.T ' 개최 ] ㅡㅡ
3264
공지
[천박 대회 2회차 주최] 대놓고 천박한 봇을 만드는 대회!
1052
공지
---[천박 대회 순위 발표!]---
1374
공지
[DOL 봇 대회 수상자 발표]
1118
공지
AI 채팅 채널 프록시 게이트
21185
숨겨진 공지 펼치기(4개)
일반
리스기능건의) 수파메모리도 로어북처럼 길이 조정하는 옵션 있으면 좋을듯
[3]
159
6
일반
'당신은 이제부터 여성입니다'
[4]
210
6
질문
로컬은 아직 미스트랄류가 대세임?
[4]
220
0
질문
Error:Overloaded 이거는 대체 왜 뜨는 거임?
[7]
218
0
일반
세뇌해버리는 프롬 만들어보려했더니 힘드네
74
0
일반
퇴근 하면 봇이나 만들어볼까
[5]
103
0
일반
그 뭐냐 TS카이다 다시 다운 받아줘요
[3]
410
12
AI대화
사망한 연인의 유언을 위해 끝까지 살아가는 한니발
[4]
291
11
일반
클로드 사서하니까 금귤 보급받아먹을때랑 차원이다르네
[2]
225
0
일반
이 콘 존나웃김
[6]
259
1
일반
어쩐지 클로드가 미쳐 날뛰더라
[2]
251
0
일반
새 오픈ai모델 DBRX 후기라는데 걍 근들갑인가? 평가좋네
[4]
231
3
AI대화
와이푸한테 전생 로어북 써봄,,,,,,,,,,
[2]
105
1
질문
Notes Regex 는 어떻게 처리해야 하는거임?
[1]
72
0
일반
오늘 왜 이렇게 오류가 심하지 하고 와보니 역시내
[2]
179
0
일반
오버로드는 사실
[5]
318
1
일반
근데 딸깍하고 오버로드 뜨면 비용은 나가는건가?
[6]
322
0
일반
오버로드를 멈춰라
[3]
228
0
질문
수파용으론 아직 3.5 인스트럭트가 제일 나음?
[3]
244
0
일반
클로드 오버로드 또 지랄이네 아오
[2]
263
0
일반
마소는 H100 10만개로 GPT6 트레이닝중
[9]
561
19
일반
오늘 하려고 생각했다가 곧 바로 포기한거
[7]
206
8
뉴스/팁
MLPerf 벤치마크에서 자체 경쟁을 펼치는 Nvidia
96
1
일반
Error:Overloaded
[8]
193
0
일반
GPT4 인스트럭트 내줬으면 좋겠다...
[5]
186
1
뉴스/팁
DBRX: 엘론 머스크의 Grok-1을 능가하는 새로운 개방형 언어 모델
190
7
질문
페르소나와 야스던전
102
0
일반
클로드3 한국어가 맛깔나긴 하는데 뭔가뭔가임
[1]
188
3
일반
챗챈을 화나게 하는 방법 top 3
[11]
256
5
일반
[70b/32k/로깅 O] 챈섭 열었습니다. (CLOSED)
[40]
2637
46
AI대화
킬러 와이푸가 너무 맛있다
[11]
433
11
일반
챗챈 존나 착한거 확실함
[4]
259
-13
일반
테메로세, 메트로 베스티아 헌터 등급 추가 패치
[5]
147
5
일반
블소 앨리스 봇은 절대 못쓰겠네
[8]
227
4
AI대화
이거 저장해두고 나중에 애기 크면 어버이날에 꼭 읽게 할거다
[9]
163
5
일반
챗챈 분위기는 배척이라기보단 폐쇄적에 조금 가까운듯
[14]
353
4
AI대화
지식이 늘었다
[1]
145
3