어제 LoRA 학습을 지원하는줄 알았는데 그건 파인튜닝이었고, 이제 LoRA 학습을 지원하기 시작함.

VRAM 사용은 대충 세팅한 기준으로 12GB를 아주 약간 넘는것으로 보고됨. 일단 16GB VRAM에서는 학습을 할 수 있음. 학습 방법이랑 정확한 VRAM 소모는 다음에 소개해볼게.

참고로 초기 지원이라서 텍스트 인코더 학습에 문제가 있을 수 있으며 이후 LoRA 규격이 변경되는등 호환성에 문제가 발생할 수 있다고함.

ComfyUI에서 LoRA 적용 방법은 비슷함.

학습에 사용된 데이터셋은 NAI3 그림체 학습용

LoRA 미적용

LoRA 적용

학습이 안되는것 까지는 아닌데 SDXL 초기랑 비슷한 상황인듯. 아직 한번만 학습한 거라서 연구가 필요함.