webui - Unet 모델 융합 테스트 - AI 반실사 그림 채널

2D모델과 실사모델을 제대로 섞어봄

다시 한번 간단히 뇌절설명 하자면
스테이블디퓨전은 12단계로 이미지를 부수고 재조립하면서 뭔가 생성함

그게 Unet 구조. 아래에서도 In, out 각각 12단계의 레이어를 거쳐서 믹스값을 조정
(자세한 내용은 공지 : Merge block weighted )

프롬프트로 snow princess 넣고

A 모델 Orange Mix , B 모델에 포토리얼

두 모델을 섞는다고 할 때 슬라이별 결과값

슬라이더가 0 으로 갈수록 A 모델 성향이 강해지고

1로 갈수록 B 모델 성향이 강해짐

in/out 슬라이더는 체크포인트 머지와 비슷하게 작동함

조금 다른 이미지를 2장씩 넣은 이유는

중앙 하단의 M00 슬라이더가 각각 좌측, 우측 올인했을 때 결과물

In 과 Out 의 역할 차이는 보면 알겠지만

In 은 첫시드로 뽑아내는 원본 이미지를 말하고
Out 에서는 그걸 가루로 만들어서 다시 재구성할때 어떻게 할거냐는 것

이건 설명을 위한 조합

결과물이 기존방식과 얼마나 다른지

일반적인 체크포인트 머지랑 비교

선예도, 색감, 조명, 그림자가 좀 더 향상되었음

결론

좌측 in레이어 : 처음 참고해서 분해할 이미지 - 씨앗
우측 out레이어: 재조립해서 나올 이미지 - 열매

상단 레이어 - 머리카락, 모공, 피부질감, 바닥벽질감, 악세사리
중단 레이어 - 인물, 얼굴, 신체부위, 침, 땀, 이펙트, 의상, 사물, 가구
하단 레이어 - 구도, 전체조명, 메인컬러, 포즈, 배치

우측의 생성물은 좌측의 결과물에 영향을 줌
우측은 첫 시드를 정하고 생성하는데 중요한 요소
여기서는 A가 오렌지, B가 포토리얼이기 때문에
좌측(In)에서 완전히 0으로 몰아주면
우측 (Out) 에서 아무리 1 가중치를 줘도 2D 느낌을 빼낼 수가 없음

2D 는 얼굴과 인체가 과장되어 있기 때문에
비율 그대로 실사화 하면 상당히 역한 느낌을 냄
따라서 인물을 그리는 in/ out 중간 레이어층은

양측을 서로 비슷하게 맞춰 주면 좋음

모든 레이어는 완벽하게 역할이 나눠져 있는건 아님

2~3레이어에 걸쳐서 약간의 영향을 줌

완전한 1, 0은 특별한 구간 아니면 안쓰고

적당히 0.2~0.8 사이로 놓는 것이 자연스러운 믹스에 좋음