ㅠㅠ

tinystories 제일 작은 모델 같은거는 돌려볼 수 있을 듯하네요. karpathy 의 nanogpt 같이 cpu 만 써서 트랜스포머 구조 확인하는 정도로.

8gb vram으로도 의외로 이런저런게 가능함. llama.cpp로 gpu offload하면 13b까지는 쓸만하게 구동이 가능할것임
만일 램만 128gb 이렇게 있다면 22b×8도 돌릴 수는 있음. 속도가 문제지

4비트 양자화된 13b 모델까지는 돌릴 수 있음.

7b  이상 qlora 학습은 확실히 불가능. 라마2기준 베이스 로드하는데만 11 ~ 13  램정도듬
내가 학습한 환경이 gpu4대 2080  이었는데 7b  로드자체가불가함   gpu  하나로는

다들 답변 감사합니다..
한계가 느껴지긴하지만 알려주신 내용에 기반해 뭐라도 계속 시도해보겠습니다