https://arca.live/b/hypernetworks/71849712

1편에서 이어지는 내용



Lion 옵티마이저가 문제의 원인이라고 생각하고 AdamW8bit를 사용했는데 이번에도 생각보다 빠르게 과적합이 발생하여 2 Epoch(500스텝)의 LoRA를 사용했다.



저번보다는 잘 작동하지만 역시 생각보다는 뭔가 말을 잘 안듣는다. 


3편은 모르겠다.