Gamma값이 1인 경우 스케쥴러가 고장나는 현상 수정


사실 전에도 그지같은 코드때문에 고생했던 적이 있는데

https://github.com/gaussian37/pytorch_deep_learning_models/blob/master/cosine_annealing_with_warmup/cosine_annealing_with_warmup.py

^^^^ 절대 쓰면 안되는코드


https://github.com/katsura-jp/pytorch-cosine-annealing-with-warmup/blob/master/cosine_annealing_warmup/scheduler.py

^^^^ 써야 했던 코드


10달전에 똑같이 고생해놓고 또 실수함

후....


Gamma 값을 1 미만으로 쓰고 있었다면 문제없었을 것


Gamma값이 1이더라도 사실 큰 문제는 없었을 것으로 보이지만 local minima에 수렴했을때 수렴한 놈을 쓴다는 컨셉은 잘 안작동했을 것으로 보임



1058 추가


Resuming 수정, 감마 탭에 옵션 추가 (작동하는지 확인 필요)...


새로 생긴 옵션들은 테스트된 후 제대로 정보탭에 쓰일 예정


테스트 완료 - 작동 확인!





새로 생긴 옵션 : Save / Generate when cycle ends


= CosineAnnealingWarmupRestart는 위와 같이 최소점으로 낮아지고 재시작하는데, 이 최소점에서 저장하거나 이미지를 생성하도록 하는 옵션


아래의 Epoch와 별도로 작동할 수 있으니, 그냥 아래의 옵션을 0, 0으로 Disable하고 켜서 사용하는 것을 추천함.