![](http://ac.namu.la/20230124sac/4b9b1a9c58f0af72db1f5c59f07437665147fe77f72316d16964ab7ed21a3b85.jpg?expires=1719795600&key=Jj_yzQI55mPkJubbo3SP_Q)
vram 40gb로 joepenna 드림부스는 배치 사이즈 10까지 버텼는데 shivam 버전은 vram 부족해서 바로 터져버리는데?
뭐가 문제임?gradient checkpointing이나 adam 8bit 같은 최적화 옵션 다 끄고 했는데 이렇게 많이 쳐먹는게 정상임?
오히려 shivam 버전이 최적화가 구린건가 아님 joepenna에도 8bit Adam 같은 최적화 옵션 적용되어있는건가?
vram 40gb로 joepenna 드림부스는 배치 사이즈 10까지 버텼는데 shivam 버전은 vram 부족해서 바로 터져버리는데?
뭐가 문제임?gradient checkpointing이나 adam 8bit 같은 최적화 옵션 다 끄고 했는데 이렇게 많이 쳐먹는게 정상임?
오히려 shivam 버전이 최적화가 구린건가 아님 joepenna에도 8bit Adam 같은 최적화 옵션 적용되어있는건가?