여태 눈치 못 채고 있었음;;
사실 TE랑 Unet은 learning rate 비율을 조절할 필요도 없었던거 아닐까
방금 학습하던거 자꾸 loss=nan 떠서 확인해보니깐 Text encoder lr가 Unet lr의 5배였음
여태 눈치 못 채고 있었음;;
사실 TE랑 Unet은 learning rate 비율을 조절할 필요도 없었던거 아닐까
방금 학습하던거 자꾸 loss=nan 떠서 확인해보니깐 Text encoder lr가 Unet lr의 5배였음