TL,DR;
Dreambooth를 사용하면 StableDiffusion이 빠르게 과적합됩니다. 데이터 세트에 대한 올바른 학습률(LR) 및 학습 단계를 찾는 것이 중요합니다. 더 적은 단계에 대해 더 높은 학습률을 훈련하고 더 많은 단계에 대해 더 낮은 학습률을 훈련하면 매우 유사한 결과를 얻을 수 있습니다. 합리적인 이미지를 얻으려면 주어진 학습률에 대한 '스위트 스팟' 트레이닝 단계를 찾아야 합니다.

Dreambooth는 얼굴에 대해 더 많은 훈련 단계가 필요합니다. 배치 크기가 2이고 LR이 1e-6인 실험에서 약 800-1200 단계가 잘 작동했습니다.

얼굴에 대해 훈련할 때 과적합을 피하기 위해 사전 보존이 중요합니다. 다른 개체의 경우 큰 차이가 없는 것 같습니다.

생성된 이미지에 노이즈가 있거나 품질이 저하되면 과적합을 의미할 수 있습니다. 먼저 위의 단계를 시도하여 이를 방지하십시오. 생성된 이미지에 여전히 노이즈가 있는 경우 DDIM 스케줄러를 사용하거나 더 많은 추론 단계를 실행하십시오(우리 실험에서는 ~100이 잘 작동함).

EMA를 하는 것은 차이가 없는 것 같습니다.

낮은 LR 및 적절한 단계 수와 결합된 텍스트 인코더를 미세 조정하여 최상의 결과를 얻었습니다. 그러나 텍스트 인코더를 미세 조정하려면 최소 24GB RAM이 있는 GPU가 필요합니다.\

이것도 모델마다 다 달라서 사실 별 의미가