https://github.com/JoePenna/Stable-Diffusion-Regularization-Images/tree/main/person_ddim

위 짤은 JoePenna의 드림부스(아마 런포드용) 사용시 다운받아서 쓰는 정규화 이미지들임

이런걸 1500장을 다운받아서 정규화 이미지로 사용함..

정규화 이미지는 과적합을 줄여주는 역할이라는데

이건 아무리 봐도 실사 기반 학습용인 것 같고 애니 그림체 학습용엔 별로일거같은느낌임

https://www.reddit.com/r/StableDiffusion/comments/y7sdno/what_are_regularization_images/

정규화 이미지에 대해 찾다가 발견한 글임

알다시피 sd는 이미지에 노이즈 추가한걸 복구하는 식으로 이미지를 생성해내는데

학습용 이미지에 노이즈 넣은걸 복구하는 함수로

그걸 정규화 이미지에 노이즈 넣어서도 적용해보고 

둘 다 복구 잘 해내면 그 함수를 사용한다는 것 같음

그러면 최소한 실사 기반 정규화 이미지는 그림체 학습에 도움 안된다는 말 같음

https://github.com/XavierXiao/Dreambooth-Stable-Diffusion

XavierXiao말로는 정규화 이미지는 온라인에서 적당한 이미지 세트 찾아서 써도 된다 함

https://huggingface.co/datasets/waifu-research-department/regularization

여기서 애니 캐릭터 기반의 정규화 이미지 데이터셋이 공유가 되고 있긴 한데

뭔가 wd기반으로 만든듯한 애매한 퀄리티인 느낌임

우리는 nai 기반으로 학습시킬 거니까 정규화 이미지도 nai 기반이여야 맞지 않나 싶음

(정규화 이미지에 노이즈 추가한걸 복구해내야 하니까)

nai에서 

프롬프트: masterpiece, high quality, best quality, 1girl

네거티브: 기본 설정인 Low Quality + Bad Anatomy

로 대충 뽑은 그림임

이런걸 잔뜩 모아서 정규화 이미지로 써야 하는게 아닌가 싶음

nai 25달러 구독중이면 적당한 이미지 무한 생성할 수 있고

아니면 챈섭 결과물 메가파일을 받아서 쓸수도 있을듯

근데 생각해보면 그림체 학습이라는게 어차피 적당한 수준의 과적합을 의도해야 하는 것 아닌가 싶기도 함..

(학습결과물이 완전히 형태 잃고 망가지는건 과적합이 아니고 다른쪽 문제라고 들은것같은데 몰?루)

아무튼 그러면 생각해본 경우의 수가 몇가지 있는데

1. 정규화 이미지는 사용하지 않음

2. 정규화 이미지에 nai 기반 랜덤의 이미지들로 채워넣음

3. 정규화 이미지에 '학습시키고자 하는 그림체/캐릭터 등등을 그나마 표현할 수 있는 프롬프트' 를 넣은 nai 기반 이미지를 채워넣음

4. 일단 한번 학습시킨 후 나온 결과물을 정규화 이미지로 사용해서 다시 새로 학습시킴

뭐가 좋은지는 몰?루겠음...