으…!제일 마지막에 링크를 … 소스 링크 찾긴 햇는데 전기세 때문에 시도해볼 생각이 들지 않네요 ㅋㅋㅋ
70B / 24GB x2 / seq_len 2048 / alpaca 5만개 / CPU ram 55GB 이면 시도 가능 !!! 
근데 중요한 시간은?  시간은 못찾겠네 … 왜 숨겻지

오~ 좋은 정보 감사합니당..!!!

바로 시도 했습니다. 기본으로 실행 시 정상 작동하네요. 
아무것도 건들지 않고 실행 했습니다. 제 개인서버 기준으로는 45~50시간 남은 시간나오네요. 시간만 확인하고 종료 / 임대비용 1시간에 0.7달러로 잡고 50시간 돌린다 하면 35달러 / 우리나라돈으로 5만원 안짝이네여 ㅎㅎㅎㅎㅎ(ram 160gb / 3090,4090 혼합) 제 서버 구동후기 수정해야겠네요 ㅋㅋ 이제 70B 파인튜닝도 가능!
주의! 옵션에 —save_model true  추가 안하면 모델 저장 안됩니다. 훈련비용만 날릴 수 있어요. 주의 하세요.

굿!@@@!!!!

대 로컬시대의 개막인걸까?

기존 그대로 했더니 저는 저장이 안됨. 아래 처럼 바꾸니 저장 되었어요.
테스트를 위해 데이터셋은 alpaca_sample 사용
—dataset alpaca_sample
—train_type custom_qlora
—save_model true

위처럼 옵션 변경 하니 저장되었습니다.
output 폴더에 model_state_dict.safetensors 생성됨

와 axolotl 벌써 fdsp+qlora 통합됨. 위 코드들 안쓰고 axolotl 쓰면 될듯 ㅋㅋㅋㅋ 엄청 빠르네
에라이 axolotl 시도 시 7B는 작동 하는데 70B 메모리 오류남.(내가 못한걸수도 있음)