기존 img2img에서 포즈를 유지한 상태로 화풍을 바꾸기 위해 디노이징을 먹이면 포즈가 변하는 문제가 있었음
이를 해결하기 위해 Pix2Pix나 SD 2.0 Depthmap + WD1.4 병합 등의 방법이 나왔지만 여전히 한계가 있었음
디노이징을 과하게 먹이면 포즈가 변하거나, 결과물이 완벽하지 않아 다시 i2i를 돌리는 번거로움 등등
그런데 며칠전에 등장한 ControlNet을 이용하면
걍 한방에 이런 결과물을 뽑을 수 있음
기존에 사용하던 다른 모델 (오렌지, 파스텔, 애니띵 등)과 병합해도 결과물이 완벽함. 포즈 틀어지는 일이 없다.
https://arca.live/b/aiart/69816884
컨트롤넷 WEBUI 설치 방법 및 사용 방법은 위 링크 참고
이 사진을 넣었을때 어떤 결과가 나오는지 보여주겠다
상단에 있는 선화같은건 부산물로 동시에 같이 나오는거임
각 모델별로 차이가 있는데 개인적으론 8, 9번 빼고 다 쓸만하다고 봄
4,5,6,7,8,9 썸네일이 이상할텐데 특수 용도로 사용하는거라 아래 내려다 보면 자세히 설명할거임
1. Pose
이 포즈 뽑아주는거 사람들이 제일 기대했을텐데 생각보다 좀 허당인 구석이 있음.
분석한 포즈를 보면 정상적으로 분석까진 했는데, 그 위치에 뭐가 들어가야 하는지 모르는 듯한 느낌
이럴 경우엔 관련 프롬을 추가해서 보강해주면 잘 뽑아준다.
2. Depth / 3. Normal
포즈 유지하는거 봐라. 예전에 WD+SD 뎁스맵하곤 비교가 안된다.
Depth 같은 경우 캐릭터는 다소 뭉퉁그려서 깊이를 표현하지만, 배경 뎁스까지 계산이 되는 경향이 있다.
Normal 같은 경우 배경은 무시하고 캐릭터 깊이를 Depth보다 더 깊게 계산하는 경향이 있음.
이 사진을 각각의 모드로 i2i했을때 차이를 보여주겠음
Depth같은 경우는 배경에 있는 물병이 표현됐으나, 얼굴 안쪽에 있는 안경은 증발했음
반면에 Normal같은 경우 배경에 물병이 증발했으나, 얼굴 안쪽의 안경이 표현됐음
캐릭터 표현을 중시하고, 배경을 날릴 생각이면 Normal
전체적인 모습의 Depth가 중요하면 Depth 선택하면 됨
4. HED / 5. Canny
4번이랑 5번은 일반 사진 넣으면 그림 이상하게 바뀔거임
사진->그림 변환 용도보다는 이미 완성된 그림, 또는 밑그림을 변환하는 용도로 쓰면 좋음
이 완성된 그림을 넣어서 예시를 들어보겠음
완성된 그림을 넣었을때 HED는 그림의 전체적인 틀을 깨지않고 분위기를 변경해줌
Canny는 원래 그림에 없었던 요소가 추가되는 문제가 있지만, 캐릭터 자체의 디테일만 보면 HED보다 좋은 듯함
전체 틀을 유지한체 분위기 바꿀거면 HED, 캐릭터 디테일이 중요하면 Canny로 선택하면 될듯함
그리고 Canny는 밑그림 채색 용도로 쓸 수 있는데
이 밑그림을 가지고 둘 다 돌려본 결과를 보여주겠음
Canny는 그림의 전체적인 선을 딴 이후 채색하는 느낌인데 그래서 그런지
밑그림을 넣어서 채색용도로 사용할 땐 Canny 성능이 압도적임
6. MLSD
이거도 Canny랑 비슷하게 선따고 채색하는건데
보면 알겠지만 둥글둥글한거 다 씹고 직선만 따놨다.
캐릭터에 사용하는 용도가 아님
이거 건물 인테리어랑 빌딩 그리는데 ㅅㅌㅊ임
7. SEG
이미지의 각 영역을 분석해서 색상으로 분류 후 그림을 만들어줌
수영장이 증발하지 않고 잘 표현되어 있는 것을 확인할 수 있음
사용하기 약간 번거롭긴한데 SEG 색상 코드로 잘 사용하면 좋음
https://arca.live/b/aiart/70614008
포토샵 이용해서 SEG + OPENPOSE 활용하는 방법
8. SCRIBBLE / 9. INTERACTIVE / 10. FAKE
황천의 뒤틀린 인체를 보면 알겠지만 이거 일반적인 i2i가 아님
그림판으로 찍찍 그린 그림 넣으면 그럴싸하게 만들어주는 기능임
8번의 경우는 그림판으로 그린 그림을 넣는거고, 9번은 프로그램 내부에서 그리기 기능을 제공함
10번도 8, 9번과 개념은 동일한데
이거는 내가 넣은 그림을 AI가 임의로 낙서한 다음 결과물로 다시 뽑는거라 보면 됨
8, 9, 10번중에 10번은 가끔 쓰지 않을까 싶다.
