vram 40gb로 joepenna 드림부스는 배치 사이즈 10까지 버텼는데 shivam 버전은 vram 부족해서 바로 터져버리는데?

뭐가 문제임?gradient checkpointing이나 adam 8bit 같은 최적화 옵션 다 끄고 했는데 이렇게 많이 쳐먹는게 정상임?

오히려 shivam 버전이 최적화가 구린건가 아님 joepenna에도 8bit Adam 같은 최적화 옵션 적용되어있는건가?