polyglot을 파인튜닝해보고싶어서 구글링하다가 매우 좋은 글인거같아서 가져옴. 

2주 내에 작성된 상당히 최신 글이고 코드도 9시간 전에 커밋되면서 계속 업데이트 되는중.

글보고 내가 새롭게 알게된 점

1. 자연어모델에는 LoRA의 성능이 좋지않은 경우도 있는듯함 

2. GPU 메모리가 부족하면 CPU 메인 메모리를 이용해서 훈련이 가능하다. DeepSpeed Zero stage3를 이용하면 GPU 메모리의 한도를 정해주고 나머지 파라메터는 CPU 메모리로 offloading 하는 기법을 사용할 수 있다.

-> vram 높은 gpu 반드시 사야하나 걱정했는데 이런방법이 있었다 

3. 커스터마이징 해서 훈련하는거 존멋이다.

글 안에 모델 weight 파일도 있고 코드도 있어. 아직 정리는 다 안되신거같은데 

나는 가이드만 보고 따라할줄아는 초짜인데 이분 글보면서 이런 세계가 있구나 실력자는 이렇게다르구나 하고 감탄함.

 혹시 파인튜닝에 관심있는 챈럼들은 배울만한점이 있을거같아서 공유할게