다른 건 제쳐두고 모델 다운로드만 보면



https://huggingface.co/decapoda-research/llama-7b-hf/tree/main

일단 원본 파일에 있는 텍스트 파일, json 을 긁어옴


https://huggingface.co/decapoda-research/llama-7b-hf-int4/

그리고 4비트 변환 된 파일을 다운받음



이걸로 우바부가에서 모델 로드함


이것만 된다고 알려지면 원본 다운받는 수고는 덜어도 되지 않을까싶어서

혹시 로컬에서도 이렇게 실행되는지 확인 해줄 친절한 챈럼 있나



내용 추가


우가 커밋

!git clone https://github.com/oobabooga/text-generation-webui

!git reset --hard ebef4a510b10bc2df9c891202446355ac5d8014a


GPTQ 커밋

!git clone https://github.com/qwopqwop200/GPTQ-for-LLaMa

!git reset --hard 468c47c01b4fe370616747b6d69a2d3f48bab5e4 


원본의 tokenizer_config.json 파일에서

"tokenizer_class": "LlamaTokenizer"

이걸로 수정해야 실행됨