학습 과정에서 loss가 천천히 감소하고 있다가 갑자기 발산해요..

1. 데이터의 수가 너무 적어서
2. learning rate가 너무 커서
3. 잘못된 training code

라마의 경우는 학습이 fp16이라면 해당 증상이 나왔던걸로 기억하는데요(가물가물 하네요)
fp16을 사용하고 계신다면 bf16을 사용해 보심이 어떤가요

또 FSDP 관련해 transformers 버전에 따라

https://github.com/huggingface/transformers/issues/26498

다음과 같은 문제가 있을 수 있습니다

lr 낮춰보세요