과적합으로 그림 뭉게질 때 대처법

일부러 모델 과적합시키고 다른 모델(주로 NAI)과 병합시켜서 사용하는 테크닉은 많이들 알 거고.

보통은 그렇게 하는 경우가 결과물이 나은 경우가 많음.

근데 가끔 캐릭터를 과적합시키고 병합했는데도 뿌옇게 나오는 경우가 있다.

이럴 때 쓸 수 있는 몇 가지 대처법임.

1. 설정에서 Stop At last layers of CLIP model 1로 바꿔보기.

통팩 사용하는 게이들 기준 기본 설정이 NAI에 맞춰져서 값이 2로 되어있는 경우가 있다.

이러면 학습시킨 캐릭터가 뿌옇거나 뭉게질 때가 가끔 있음. 1로 바꿔보자 훨씬 또렷이 나올 가능성이 높다.

2. Face restore, Highres. fix 기능 사용.

얼굴이 뭉게진다면 Face restore기능을 체크해보자. 또렷하게 얼굴을 보정해 줄 때가 있음.

다만 얼굴만 또렷해지고 몸은 여전히 뭉게지는 경우가 있는데 이 경우 이미지 사이즈를 512x768사이즈 말고 Highres. fix를 키고 더 큰 사이즈로 올리고 뽑아보자.

훈련용 이미지에 얼빡샷이 들어가서 그런가 작은 사이즈일 때보다 또렷하게 나오는 경향이 있음. 대가리나 인체 부위가 여러개 나올 수 있으니 Highres. fix 키는 건 필수임.

3. 샘플링 방법 바꿔보기.

해골물일 수도 있지만 jopenna 기준 학습을 ddim으로 시켜서인가 ddim으로 뽑았을 때 선명해진다는 느낌을 받았음.

4. 프롬프트에 광원 관련 태그 넣기.

광원 관련 태그를 몇 개 넣어주면 드라마틱하게 뭉게지고 흐린 게 사라지는 경우가 있다.

아래는 어떤 챈붕이가 광원관련 태그 정리해 놓은 거니 한번 꼴리는 걸로 사용해보자.

5. 네거티브 프롬프트 몇 개 빼보기.

과적합의 단점은 language drift가 일어나 원본 토큰 외에 다른 토큰들도 오염되는 경우가 있다는 거임.

그래서 그런가 국룰 네거티브 태그에 들어가는 단어가 오염돼서 오히려 역효과를 일으키는 경우가 있음.

한 번 네거티브 태그 전부 빼보고 더 선명해진다 싶으면 천천히 하나씩 넣어보면서 영향 안미치는 걸 선택하길 추천함.

'일부러 모델 과적합시키고 다른 모델(주로 NAI)과 병합시켜서 사용하는 테크닉은 많이들 알 거고.' 몰랐던지라 이 부분에서 벽을 느꼈다. 역시 고인물들 천지야...어쨌든 학습시킨거 뭉개졌는데 해볼게 땡큐!