LLaMA의 배포된 가중치는 FP16임
FP16 기준
7B(6.7B) - 14GB
13B - 27GB
33B(32.5B) - 68GB
65B(65.2B) - 135GB
INT8으로 양자화하면
비트수가 절반으로 줄어드니까 파이썬 오버헤드를 제외하고 절반정도로 줄어듦
그리고 텐서코어 가속 조건이 Compute Capability 7.2 이상으로 변함(V100은 INT8 미지원)
7B(6.7B) - 7GB
13B - 14GB
33B(32.5B) - 34GB
65B(65.2B) - 68GB
INT4으로 양자화하면
비트수가 1/4로 줄어드니까 파이썬 오버헤드를 제외하고 절반정도로 줄어듦
그리고 텐서코어 가속 조건이 Compute Capability 7.5 이상으로 변함(7.2까지는 INT4 미지원)
7B(6.7B) - 4GB
13B - 7GB
33B(32.5B) - 17GB
65B(65.2B) - 34GB
INT4까지 가면 33B까지 돌릴 수 있음
다만 FP16에서 INT8으로 전환한 후 보정을 안해주면 FP16과 동일한 결과가 나오지 않을 가능성이 높음
연구에 따르면 LLMs의 경우 INT8과 INT4의 양자화에 의한 정확도 감소가 타 모델에 비해 낮은 편임
또한 LLMs의 많은 개수의 파라메터를 가진 모델을 양자화해서 쓰는 것이 LLMs의 낮은 파라메터를 가진 반정밀도 모델에 비해서 높은 성능을 보여준다는 결과가 있음
물론 VRAM을 모두 채운 후에도 로드해야하는 가중치를 RAM과 보조기억장치에 로드하고 추후에 로드하는 방식을 사용할 수 있음(FlexGen)
그러나 I/O타임을 생각하면 별로 추천하지 않음
단순히 '돌아간다'에 의미를 두는게 목적이면 해도 됨
- LLMs이 스마트폰이나 태블릿에서 돌아갈 수 있는가?
불가능함. LLMs는 파라메터의 개수가 가지고있는 정보량과 비례함
일정 수준까지는 낮출 수 있지만 그 이하로는 낮출 수 없음
논문에 따르면 학습에 사용된 데이터는 2017년~2020년의 데이터지만
실제로
학습된 데이터는 2016년의 데이터로 추정됨.
GTX1080ti가 제일 최신 GPU라고 답하고 Pascal 아키텍쳐가 제일 최신 NVIDIA GPU 아키텍쳐라고 답함
Pascal GPU의 MSRP는 제대로 답하는 모습을 보이지만 Turing GPU부터는 MSRP를 답하지 못하며 존재 자체를 모르는 모습을 보임
구독자 75280명
알림수신 1664명
인공지능으로 제작한 그림을 자랑하고 정보를 공유하는 채널
일반
LLaMA 필요 VRAM 정리
추천
27
비추천
0
댓글
16
조회수
5141
작성일
수정일
댓글
[16]
ㅇㅇ
ㅇㅇ
호애
이하비스
ㅇㅇ
ㅇㅇ
ㅇㅇ
oㅇo
나태
ㅇㅇ
주니블루
그레고리력
Uat
papayamerong
라오쓜하오
ㅇㅇ
본 게시물에 댓글을 작성하실 권한이 없습니다.
로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
29142193
공지
AI 그림 채널 통합 공지 (2024-05-18)
602930
공지
( 진행중 ) 대회 관련 공지 / 현재 진행중인 대회
70134
공지
AI그림 채널 신문고
76423
공지
곤살레스(아카 AI) 관련 공지
12868
공지
본 채널은 AI 그림의 수익화를 반대합니다.
58417
공지
공지 정보글에 여러분들의 기여가 필요합니다
84926
숨겨진 공지 펼치기(2개)
334
일반
4chan 형들 근황
[53]
10119
125
333
일반
그림판 i2i 놀이..이런식으로..하면될듯? 아니면 말고 ㅋㅋ
[3]
1600
16
332
일반
그림판 i2i 놀이.jpg
[12]
1443
26
331
일반
요즘 1일차들 특징
[12]
2225
17
330
일반
LLaMA 13B 더블 3090로 쓴 소설!
[11]
3014
17
329
일반
LLaMA 7B 3090ti 16기가 VRAM 깃허브 리뷰
[7]
2610
26
328
일반
AI 그림이 발전이 빠를 수 밖에 없는 이유
[10]
2746
39
327
일반
LLaMA 필요 VRAM 정리
[16]
5142
27
326
일반
이챈 처음와보는데 여기 뭐냐 ㅋㅋㅋㅋ
[17]
2642
40
325
일반
???: 여기 한국인 있어요?
[16]
2095
29
324
일반
오히려 AI그림에대해 알게될수록 그림그리는 사람 안 깔아보게 되는거 같음
[45]
4809
46
323
일반
LLaMA 경량화 떴다!!!
[52]
3929
49
322
일반
페북이 완전 오픈소스화 사실상 허용해버림ㅋㅋ
[17]
2190
40
321
일반
4080 챈섭 온
[29]
2036
18
320
일반
AI그림 전용 장비 도착했다...
[22]
2206
30
319
일반
그림AI에 홀려 여기까지 왔다...
[30]
2200
20
318
일반
NovelAI 유출 사건이랑 비슷한거 또 터짐ㄷㄷ
[52]
4182
39
317
일반
공지 다 봤는데 AI 그림 어떻게 하나요?
[23]
2168
46
316
일반
본인 그림으로 ai 대충 돌려본 결과물
[41]
2134
26
315
일반
야 진짜 큰거 왔다
[19]
2373
26
314
일반
투샷 기능 상위호환? 나올 예정
[21]
2058
41
313
일반
ai 입문하고 싶다는 뉴비 가르친 흐름도
[10]
8155
40
312
일반
요즘 만들라는 그림은 안만들고
[37]
5638
114
311
일반
형들 나 코랩 60달러 짜리 질렀어 잘부탁해!!!
[11]
1428
13
310
일반
결국 본체값만 400들여서 컴터 새로 샀다
[34]
1724
19
309
일반
오랜만에 챈섭 열음
[10]
1844
11
308
일반
난 가끔 발전이 멈췄으면 해
[14]
2090
21
307
일반
[스압][데이터주의] Dora의 AI 그림 학습 일기-2 : 제발... 내가 원하는 것 좀 그려봐... 컨트롤넷과 인페인트
[5]
4952
13
306
일반
AI그림의 중독성이 심각한건 당연한거지
[19]
5309
74
305
일반
컨트롤넷 하다가 현타 온 썰
[15]
2392
22
304
일반
아니 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
[10]
1716
21
303
일반
이번주만 두번 보인 질문 자주묻는질문에 추가함
[27]
1424
30
302
일반
[초스압][데이터주의] Dora의 AI 그림 학습 일기-1 : 일반인도 그림쟁이가 될 수 있다고?
[9]
6280
20
301
일반
레딧 : '조만간 자동 손 수정 기능이 나올 수도 있다'
[58]
9570
116
300
일반
??? : 님들 이 그림 보셈 쩔죠? 이거 Ai로 만든 거임!
[15]
2423
36
299
일반
이것도 옛날짤이네
[15]
1662
24
298
일반
Corridor에서 만든 AI 애니메이션.youtube
[13]
2292
23
297
일반
쉼표도 딱히 안 붙여도 되네?
[10]
2204
31
296
일반
김홍도 lora가 이런거임?
[23]
7877
137
295
일반
언제쩍 소녀전선 다시 갖고 놀기
[9]
1818
28
294
일반
뽑으라는 야짤은 안 뽑고 이러고있네
[14]
2073
43
293
일반
AI가 추천해준 프롬프트로 그린 성녀
[16]
3479
24
292
일반
3월달에 클립스튜디오 기능 확 업뎃되네
[17]
2382
13
291
일반
스압) 응애뉴비 배우면서 처음으로 도자기 깎아봤어오 칭찬해주세오
[10]
1787
21
290
일반
오늘자 Ai그림콘 업데이트
[19]
2563
24