아니 시발 학습 코드보니까 끝도없이 해골물이네ㅋㅋ - AI그림 학습 채널 (arca.live) 

그래서 이거 해결하는 코드를 짜긴했는데

latent space에서 샘플을 가져오는 코드는 단순해서 cpu가 처리하도록 바꿔봤더니 VAE 추가해서 넣었을때 훈련 씹창나는 현상이 그대로 나타나더라

그래서 할수없이 훈련 루프마다 VAE 인코더 돌렸음. 이제 8기가 VRAM이 간당간당하게 돌아감...

이게 지금도 잘되는지 안되는지 모르겠는데 일단 훈련시키고자 하는 임베딩의 표현 범위가 굉장히 다채로워짐.

예전에는 임베딩이 훈련 이미지에 끼워맞춰질려고 안간힘을 쓰던 느낌이었다면

지금은 모델이 스스로 아 이런 임베딩이 내가 배웠던 것중에 있었던거 같은데~ 하면서 스스로 이것저것 찾아보는 느낌임.

이전에는 lr 0.5를 줘도 저정도로 휙휙 바뀌진 않았음. 저 사진은 지금 lr 0.001인데도 주체할수 없이 빠르고 다양하게 뽑히는 중.

로스는 0.08~0.12대에서 놀던 데이터였는데 저렇게 말도 안되게 커지게 나오긴 함... 지금까진 이미지마다 고정된 하나의 latent 데이터를 훈련해왔지만 이젠 거기에 랜덤 분포가 추가되었으니까 로스가 널뛰기를 뛰는건 당연함.

그리고 위의 샘플들이 실망스러웠다면, 글을 쓰고 있는 지금도 돌리고 있는데 어쨌든 이제 임베딩도 하이퍼처럼  lr 1e-6까지 낮춰야할수도 있겠다.