https://github.com/TheLastBen/fast-stable-diffusion

사실 이 드림부스는 waifu diffusion 시절 거의 한달전부터? 코랩에서 무료로 가능했었지만

nai모델 diffusers로 변환하는거 귀찮아서 계속 미루다가 어제 했는데 오류떠서 못했다가 오류없이 변환하는 방법을 오늘 찾아서 드디어 해봤음ㅋㅋㅋ

학습시킨 환경은 무료 코랩이고 vram 14기가짜리 t4 gpu에 베이스로 nai full pruned를 썼음

학습 데이터는

이런 그림들인데 30장 512 512로 짤라서 썼고 배경이 가장 중요한 작가임

이 작가 그림이 원본에도 후보정한거같이 뿌연 모자이크 노이즈들이 있어서 잘될까 싶었지만 어쨌든 해봤다

그리고 결과물들인데 위가 작가 태그 없이 그린거고 아래가 작가 스타일로 그린 그림임

첫번째로 The girl in the hat is in the forest, (scenery:1.4)

그리고 위에다가 (drawing By potg:1.4)만 붙여서 뽑은거

보면 알겠지만 나뭇잎들도 뭔가 예뻐졌고 작가의 뿌옇고 몽환적인 분위기가 적용됨ㅋㅋㅋㅋㅋ

이 아래도 비슷하게 비교한것들임

학습 데이터에 물 샘플이 3개정도 있었는데 그거덕에 표현이 예뻐진거같음

다 퀄리티 태그같은것도 안넣고 문장형으로만 뽑은건데 뭔가 구도 자체도 변하고 조형물도 다양해진거같아서 존나 만족한다

여기서 cfg scale까지 바꾸면서 가챠하면 더 예쁜것도 나올거같음

가장 신기한건 학습된 모델 용량이 원본보다 1/2인거였다

diffusers에서 ckpt로 변환하는 과정에서 용량을 줄이는 코드가 최근에 추가됐던데 성능 저하같은건 비교해봐야겠지만 일단은 기분 좋음ㅋㅋㅋ

사실 나는 learing rate같은것도 잘몰라서 기본값(2e-5)으로 썼는데 30분만에 무료로 학습 잘된거같아서 용량 컸어도 만족했을거같다

nai에서도 잘되는거 확인했으니까 앞으로 여러가지 학습시켜봐야지