훈련 이미지 선택시 참고 사항
- 훈련 이미지는 큰 세트일 필요가 없으며 7~10개의 이미지가 최적점인걸로 보입니다,
- 훈련 이미지가 적은 모델은 적은 스텝으로 좋은 결과를 낼수 있는걸로 보입니다.
- 훈련 이미지가 많을수록 훈련 시간이 길어집니다.
- 자르기보다 여백이 선호됩니다. 만약 자른다면, 까다롭게 하십시오
- 가장 좋은 이미지는 배경과 여백 색상이 잘 조화를 이룹니다.
드림부스 식별자에 대한 간단한 설명
만약 "코노스바의 다크니스"를 학습시키고 싶다면, 식별자는 "라라티나 더스티니스" 또는 "라라티나"가 될것입니다. 나는 "다크니스" 같은 일반적인 단어는 추천하지 않습니다
Class는 훈련시킬 단어가 속해있는 객체를 나타냅니다
- 라라티나는 girl 클래스 입니다
- 라라티나는 "beautiful anime crusader" 클래스가 될수도 잇습니다. - 비록 아무것도 얻을수 없을거같지만은
- 라라티나는 paladin 클래스가 될수도 있습니다
- 더 나아가서 "cute girl blonde hair blue eyes" 같은 단어를 클래스로 쓸수도 있습니다.
둠가이 예시
- 상세한 클래스보다는 좀더 일반적인 클래스를 사용하여 더 좋은 결과를 얻을수도 있습니다.
둠가이의 경우 "Space Marine" 보다는 "Soldier", "Super Soldier", "Scifi Soldier"이 더 낫습니다.
정규화 이미지에 대한 참고사항
- 정규화 이미지는 모델이 학습 대상으로 오염되지 않도록 하는데 도움이 됩니다.
정규화 이미지가 충분하지 않은 상태로 "라라티나" 프롬프트와 "anime_girl_teal_eyes_white_hair"이 함께 사용될 경우, 모델은 프롬프트가 주어질때마다 항상 라라티나만 나오게 될것입니다.
- 더 많은 정규화 이미지는 더 나은 결과과 나오고는 합니다. 최소 100개를 사용하고, 1000개의 이미를 사용하는 사람들이 좋은 결과를 얻는걸 봤습니다,
정규화 이미지는 당신의 Class word를 사용해서 생성할수도 있습니다.
예를 들어 코노스바의 다크니스의 적절한 정규화 이미지를 생성할때는 클래스로 지정했던 "cute girl blonde hair blue eyes"가 될수도 있습니다.
- 어떤 사람들은 정규화 이미지를 일괄 처리하여 특정 클래스에 대해 공유하고 있습니다. 정규화 이미지와 클래스 토큰을 캐릭터의 "일반적인" 형태로 생각합니다. 그들이 무엇인지 가장 중요한 계층입니다.
- 우리의 경우 "a photo of cute girl blond hair blue eyes" 프롬프트를 통해 정규화 이미지를 생성할수 있습니다,
Epochs에 대해
Epochs는 일반적으로 훈련 데이터셋에 대한 한번의 루프를 뜻합니다.
다만 dreambooth에서 하나의 epoch이 무엇을 의미하는지는 몰?루
일반적인 오류
- 메모리 부족
다른 모든 프로그램을 닫으십시오. 이것은 VRAM 24기가를 사용합니다.
깜빡하고 닫지 않은 webui가 있는지도 확인하십시오.
- 정규화 이미지는 짝수여야합니다.
홀수는 진행상황이 0%또는 1step에서 멈출수도 있습니다
FAQ
Q : 정규화 이미지가 뭔가요
A : 오버피팅을 줄여주고 학습 대상이 모델을 오염시키거나 클래스의 다른 부분을 오염시키는걸 줄여줍니다.
Q: 공유되는 정규화 이미지가 있나요
A : ㅔ
https://huggingface.co/waifu-research-department - 애니 캐릭터에 대한 정규화 이미지
https://github.com/JoePenna/Stable-Diffusion-Regularization-Images
Q : 정규화 이미지를 어떻게 생성해야 할까요
A : 가능한 당신의 캐릭터 분류를 가장 잘 나타낼수 있도록 생성하십시오
목표는 모델을 완전히 캐릭터로 바꾸는게 아니라 캐릭터를 혼합하는것입니다.
Q: Epochs이 중요한가요?
A: step이 더 중요합니다.
더 많은 step은 더 좋은 결과를 만들지만 동시에 오버피팅도 증가합니다
내가 본것들에 따르면 5000~6000 스텝이 최적점으로 보임
Q: 가장 높은 퀄리티에 가장 적은 오버피팅을 내는 세팅은?
A: 커뮤니티의 실험에 따르면 더 좋은 결과를 낼수 있겠지만 느립니다
base_learning_rate: 6.5e-07
every_n_train_steps: 2000
batch_frequency: 2000
max_images: 8
increase_log_steps: False
benchmark: True
max_steps: 12000
만약 애니 캐릭터를 학습중이며 Waifu Diffusion Full EMA를 사용할 경우 300~500개의 애니캐릭터 초상화를 사용하십시오. 캐릭터가 두 가지 모두를 효과적으로 수행할 수 있도록 하려면 훈련 세트는 sfw와 nsfw 사이에 분할된 5-15개의 이미지여야 합니다. 따라서 총 10~30개의 이미지가 있습니다.
Q. 캐릭터 학습 말고 컨셉 학습도 가능한가요?
A: 네! 스타일, 아티스트, 포즈 등을 할 수 있습니다.
스타일 예시를 보려면 https://huggingface.co/BblingOrange/Hiten 을 확인하세요.
Q. 약간 더 빠르게 학습시킬수 있나요?
A. v1-finetune-unfrozne.yaml을 열고 every_n_train_steps: 1000 and batch_frequency: 1000을 넣으십시오. 이것은 checkpoint 파일을 생성하는 빈도를 낮추고 validation 빈도를 낮춥니다.
Q. 같은 모델에 여러개의 캐릭터를 학습시킬수도 있나요
A. https://github.com/kanewallmann/Dreambooth-Stable-Diffusion
Q. 정규화 이미지 없이 학습시킬수도 있나요
A. 예! 다른 사용자가 이러한 매개 변수가 유리하다고 판단했습니다.
10-25 images, both as train and reg LR of Xe-07, where X is imagecount*0.18 4000-8000 steps (depending on complexity of your training images)
출저
https://rentry.org/dreambooth-shitguide#notes-on-regularization-images
