채널에서 써보고 싶은 10b 모델을 발견해서 양자화시키려고
from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer
import accelerate
model_path = 'path of model/llama-3-10b-it-kor-extented-chang'
quant_path = 'path of model/llama-3-10b-it-kor-extented-chang_fp16'
quant_config = { "zero_point": True, "q_group_size": 128, "version": "FP16" }
# Load model
model = AutoAWQForCausalLM.from_pretrained(model_path, **{"low_cpu_mem_usage": True})
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
# Quantize
model.quantize(tokenizer, quant_config=quant_config)
# Save quantized model
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)이런식으로 코드를 적용했는데,
FileNotFoundError: No such file or directory: "모델위치/llama-3-10b-it-kor-extented-chang/model-00001-of-00004.safetensors"
이런식으로 에러가 발생합니다.. 아마도 AutoAWQ에서
model-00001-of-00004.safetensors 이 파일을 불러오려다가 실패한것 같은데, 이런식이면 무조건 safetensors파일이 4개만 있는 파일만 양자화가 가능한건가요? 이 모델의 경우
model-00001-of-00008.safetensors 이런식으로 8개의 세이프텐서 파일이 있는데, 어떤식으로 적용해야될지 궁금합니다..
너무 초보적인 질문인것 같아서 죄송합니다..ㅠ
Ai 언어모델 로컬 채널 이용규정
