님들 제가 지금 exllamav2로 llama3 70b instruct 모델 변환중인데...

Ai 언어모델 로컬 채널

알림 알림 중 알림 취소

구독자 3537명 알림수신 174명 @바바리맨

제한없는 언어모델을 위한 채널

질문 님들 제가 지금 exllamav2로 llama3 70b instruct 모델 변환중인데...

ㅇㅇ (220.78)

추천 0 비추천 0 댓글 10 조회수 571 작성일 2024-04-24 04:40:13

⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.

https://arca.live/b/alpaca/104427837

exllamav2로

rem : 26gb

gpu : rtx3090

환경에서 2.55bit로 양자화 하는 중입니다만

그..

혹시 2.55bit로 양자화 해도 일반적으로 사용이 가능할 정도로 동작할까요?

exllamav2에 llama2 70b 모델을 했던 benchmark가 있어서 해보려고 하는데요.

댓글 [10] 글쓰기

ㅇㅇ (220.78)

2024-04-24 04:44:09 삭제 수정 답글

*수정됨

vram 24gb 모델로 돌려보신분 있으시면 좀...

펼쳐보기▼

포리X

2024-04-24 04:45:11 답글

3090/4090이 없어서 정확한 답변은 어렵지만, Content Length	길이 잘 타협하면 돌릴 수 있다고 보고됨.

펼쳐보기▼

ㅇㅇ (220.78)

2024-04-24 04:46:36 삭제 수정 답글

음 그럼 돌릴 수 있다는 거니 한번 계속 양자화 해봐야 겠네요.
댓글 감사합니다

펼쳐보기▼

bedovyy

2024-04-24 04:49:04 답글

kiqu 2.4에 context length 4096으로 지정하면 VRAM 22158MiB 사용했습니다.
2.55가 빠듯할 수 있어요. 다른 사람이 변환한 거 돌려보고 참고해 보세요.
https://huggingface.co/bartowski/Meta-Llama-3-70B-Instruct-exl2 ( 2.2, 2.5 )
https://huggingface.co/turboderp/Llama-3-70B-Instruct-exl2 ( 2.4 )

huggingface.co

bartowski/Meta-Llama-3-70B-Instruct-exl2 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

*수정됨

kiqu 2.4에 context length 4096으로 지정하면 VRAM 22158MiB 사용했습니다.
2.55가 빠듯할 수 있어요. 다른 사람이 변환한 거 돌려보고 참고해 보세요.
https://huggingface.co/bartowski/Meta-Llama-3-70B-Instruct-exl2 ( 2.2, 2.5 )
https://huggingface.co/turboderp/Llama-3-70B-Instruct-exl2 ( 2.4 )

펼쳐보기▼

ㅇㅇ (220.78)

2024-04-24 04:56:59 삭제 수정 답글

*수정됨

kiqu 2.4에 context length 4096에 22158bit으면 저는 좀 아슬아슬하겠네요. 알려주셔서 감사합니다 링크 참고해보겠습니다

펼쳐보기▼

ㅇㅇ (220.78)

2024-04-24 05:41:15 삭제 수정 답글

결국 ram의 용량을 exllama에서 끌어다 쓰다가 프로세스가 killed 되어버렸네요..
물리가 32기가라...
서비스 싹다 끄고 cmd 하나만 띄워서 시도해 보는 중입니다
다들 알려주셔서 감사합니다

펼쳐보기▼

ㅇㅇ (123.214)

2024-04-24 07:16:30 삭제 수정 답글

https://huggingface.co/LoneStriker/Meta-Llama-3-70B-Instruct-2.25bpw-h6-exl2

context 8k에 2.25는 잘 돌아갑니다

huggingface.co

LoneStriker/Meta-Llama-3-70B-Instruct-2.25bpw-h6-exl2 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

context 8k에 2.25는 잘 돌아갑니다

펼쳐보기▼

ㅇㅇ (220.78)

2024-04-24 08:07:54 삭제 수정 답글

혹시 2.25bit 양자화된 것은 vram이 얼마나 먹는지 아시나요?

펼쳐보기▼

ㅇㅇ (211.114)

2024-04-24 12:07:08 삭제 수정 답글

8k context는 23.5gb, 4k는 23.3gb 나오네요

펼쳐보기▼

ㅇㅇ (220.78)

2024-04-25 00:35:32 삭제 수정 답글

오호 2.25bpw exl2 모델은 그렇게 나오는군요
알려주셔서 감사합니다
저는 2.55로 양자화 한것을 돌려보니 23.8정도로 vram을 잡아먹네요

펼쳐보기▼

글쓰기

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 31476228

공지 Ai 언어모델 로컬 채널 이용규정

바바리맨 2023.04.18 6293

공지 뉴비에게 도움 되는 글 모음

바바리맨 2023.04.18 28623

공지 언어모델 관련 정보취득 /무료체험 가능 사이트

바바리맨 2023.04.18 9504

공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원

4183 일반 gemma2는 27B, paligemma 공개 [6]

HyperBlaze456 2024.05.14 847 8

4182 질문 현 시점 한국어 임베딩 모델은 어떤게 제일 좋을까요? [6]

dksjau 2024.05.14 1325 2

4181 질문 Llama2 파인 튜닝해서 api 호출

sumsumoksu (180.81) 2024.05.14 420 0

4180 일반 GPT-4o는 GPT-4에 비해 한국어 생성 속도가 3.4배 빨라졌다. [2]

도지도지 2024.05.14 1014 6

4179 일반 언젠가는 gpt4o 같은 걸 로컬에서 돌릴날이 올까요? [6]

돌돌돌돌 2024.05.14 1050 6

4178 질문 [뉴비주의] 말뭉치 데이터를 학습하려면..? [1]

ㅇㅇ (223.39) 2024.05.14 452 0

4177 일반 이번에 공개된 gpt-4o의 성능 벤치마크인데 drop은 왜 떨어진거려나요 [9]

그래요 2024.05.14 874 1

4176 일반 GPT4o 플랫폼에 공개됐군요 [5]

감별사 2024.05.14 925 2

4175 일반 Gemma 토크나이저 확장 관련 임베딩 초기화 방식 ㅠㅠ [2]

넙적곰치 2024.05.14 343 0

4174 질문 Llama3 8B 튜닝 과정인데 외계어문제.. ㅠㅠ [16]

eke 2024.05.14 831 -1

4173 일반 llm 한국어 학습할 때 데이터에 관하여 궁금증

ㅇㅇ (119.200) 2024.05.14 303 0

4172 일반 chatGPT4O 요약 [2]

Aimyon 2024.05.13 1255 5

4171 일반 aka Llama-3 70B 한국어 [7]

zzzzz5 2024.05.13 2178 15

4170 질문 안녕하세요 Llama3 8B 튜닝 뉴비 좀 도와주십시오 ㅠ [9]

eke 2024.05.13 697 0

4169 일반 llama3 8B (fp16) 70B (Q6_K) 돌려봤음 [9]

게지네 2024.05.13 808 2

4168 일반 앞으로 3090 보기는 다시 쉬워지겠네요 [5]

whs 2024.05.13 1132 1

4167 질문 vllm 이 동시 사용시 빠른 이유가 궁금합니다. [6]

끼랑까랑 2024.05.13 600 0

4166 학습 llama 2 train 성공 및 의문점 + llama 3 예정 [2]

ㅇㅇ (61.33) 2024.05.13 650 5

4165 일반 sLLM instruction tuning 데이터 [2]

asdfnlasdf 2024.05.13 473 1

글쓰기

전체글 개념글