https://github.com/facebookresearch/dadaptation

D-Adaptation이란?

학습률 스케쥴러 등을 사용하는 대신 거리 추정 알고리즘을 사용해서 학습률을 알아서 조정하게  해보겠다는 것

아무튼 적용해봤음.

https://github.com/aria1th/Hypernetwork-MonkeyPatch-Extension/tree/beta-dadaptation

위 Extension에서 사용 가능

학습에 사용한 설정

D-Adaptation은 기본 학습률을 1로 설정하고, 필요에 따라서만 높이거나 낮추면 됨.

따라서 LR Scheduler는 사용하지 않음. 

32 스텝마다 저장 및 미리보기 생성하게 설정

학습 스텝은 256스텝으로 10분만 학습했음.

그렇다 하이바라다.

Animefull-pruned로 10분간 학습한 결과

귀찮으니 다른 이미지는 생략한다

아무튼 폭발하지 않았으니 이걸 다른 모델에 넣고 돌려보면?

잘?나온다

아직 모든 기능이 완전한지는 테스트가 필요한데, 아무튼 되기는 잘 되는것으로 보임