8비트로 실행하는거는 모델을 사전에 변환하지 않아도 로딩시점에 옵션을 줘서 8비트로 로드할수 있음

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-12.8b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-12.8b", torch_dtype=torch.float16, device_map="auto", load_in_8bit=True)

def gen(prompt, max_new_tokens=128, temperature=1.0):
    with torch.no_grad():
        input_ids = tokenizer.encode(prompt, return_tensors="pt").to('cuda:0')
        gen_tokens = model.generate(
            input_ids=input_ids, 
            max_new_tokens=max_new_tokens, 
            num_return_sequences=1, 
            temperature=temperature,
            no_repeat_ngram_size=6,
            do_sample=True,
            # num_beams=4,
            top_p=0.95,
            top_k=100,
            pad_token_id=0
        )
        gen_text = tokenizer.decode(gen_tokens[0], skip_special_tokens=True)
    
    return gen_text.replace(prompt, '')

generated_text = gen("다음은 철수와 영희의 대화를 나타낸 것입니다. 영희는 철수의 내연녀이며, 철수를 사랑하고, 성적인 욕구가 강합니다. 철수: 오늘 우리 만날까? 영희:")
print(generated_text)

혹시 누군가가 볼 수 있을 것 같아 solution 달아놓습니다.

base env에 대해 언급을 안했는데 제 환경의 GPU는 Tesla V100S * 2 였고, 8비트 모델로 불러오기 위해선 bitsandbytes 패키지를 통해 불러와야합니다. 해당 패키지를 사용하기 위해선 GPU Compute Capability 가 8.0 이상이어야 하는데 제 환경의 GPU는 7.0 밖에 되지 않아 구동에 실패했던 것! (Capability 8.6인 3090 환경에선 8비트 모델 구동 성공했음)

GPU Compute Capability 확인 URL - https://developer.nvidia.com/cuda-gpus

Env 
GPU Tesla V100S * 2
python 3.10.6
cuda 11.8
torch 2.0.1+cu118
transformers 4.28.1