안녕하세요

챈에서 간간히 라이트 유저로 활동하고 있는 니케니케입니다.

지난번에 실제 제품을 가지고 착샷 만든 사진을 올렸는데요

링크 [후드티로 착샷을 만들어보자]

해당 방법을 간단하게 소개해드리려고 합니다. 

거창하게 강좌도 라고 부르기도 뭐하고.. 걍 사용하면서 느낀점 및 활용기 정도라고 봐주심 될거같아요

1. [설치]

일단 콘트롤넷 ControlNet v1.1.410 최신버전을 설치하게 되면 하단에 

IP-Adapter 라고  있습니다.

최신버전이면 이미 저게 깔려있을테고  추가 설치는 하단 URL에서 설치하시면 됩니다.

https://github.com/tencent-ailab/IP-Adapter

그리고 모델 파일은 아시다 시피 따로 받아야 합니다. 해당 URL에서 아래 모델을 다운받아주세요

https://huggingface.co/lllyasviel/sd_control_collection/tree/main

세개 모델이 있는데 

'ip-adapter_sd15.pth' 'ip-adapter_sd15_plus.pth' 는 SD1.5 계열(SD버전 1.5를 이야기하는거 X) 사용자만

'ip-adapter_xl.pth' 은 이름에서 유추 할수 있듯이 SDXL 사용자가 쓸수 있는 모델입니다.

다운 받은 모델 파일은 본인 extension 내 model 폴더에 넣어주심됩니다

ex)G:\stable-diffusion-webui\extensions\sd-webui-controlnet\models

다시 컨트롤넷 IP-Adapter 쪽으로 돌아와 사전처리기 선택란에 보시면 sd15,sdxl로 선택이 가능합니다.

SD1.5 용 SDXL용입니다

2.[사용법]

 https://github.com/tencent-ailab/IP-Adapter 이쪽의 How to use 쪽 보면 대략 적인 사용법이 나와있습니다.

참 쉽죠?

저는 SD 1.5 사용자니 SD1.5 기준으로 설명할께요.

대략적인 매커니즘은 모르겠으나 이미지를 참조하여 프롬프트를 대체하는 느낌입니다. 

쓸데없는 이야기는 그만하고 예시 사진 보시죠

후드티 하나를 컨트롤 넷에 넣어줍니다. 그리고 생성을 눌러 줍니다

1)임의의 체크포인트 선택

2) 프롬에는 품질프롬 및 최소 프롬프트만 입력

ex) 1girl,solo 

3) 생성 

짜잔 단순히 이미지 소재하나 던져 줬는데 AI 가 상상력을 발휘해서 생성해 냈습니다. 이거시 그야 말로 딸깍질??!!

근데 뭔가 아쉽습니다.  YALE 이라는 로고가 나오면 좋을거 같은데?

1) 프롬에 다음을 입력해 봅니다. (logo "YALE", grey hoodie)

짜쟌 ! 원하는대로 나왔습니다. 와...이거 너무 손쉽고 딸깍질인데? 싶네요??

이미지 클릭해보시면 면의 질감도 살아나 있습니다.

그럼 다른 단어를 넣어 봅시다.

짝퉁티 'BODODAS' 입니다.

동일한 프롬을 추가로 넣어봅니다(logo "BODODAS")

글자는 비슷하게 나오나 명확하게 나오진 않네요. 그리고 전체적인 모습이 아닌 옷만 출력합니다. 프롬에 풀바디를 넣어도 씹어버리네요.

(웨이트 조절이 필요할듯)<--근데 웨이트 조절해도 잘안됩니다. 딸깍질 취소

아마 학습된 조금 인지도가 있는 브랜드나 간단한 알파벳 정도는 나오는 듯합니다.

'저게 된다면 응용해서 흰티에 원하는 글자(사이트 주소,닉네임등) 을 넣고 IP-Adapter로 뽑아내면 되지 않을까 해서 해봤지만 아쉽게 실패했습니다.'

더이상 설명은 필요 없을듯 하여 바로 예제로 넘어갑니다.

그외 예제 사진입니다.

*추가 

이미지를 프롬프트 대체한다고 했으니 그럼 이런조합도 되겠네? 후드,신발,바지 던져줄게 해 '줘'

결론은 되긴 하는데 자기맘대로 랜덤성이고. 결국 프롬에 (grey hoodie,black pants,white sneakers)를 입력해줬습니다.

3. 결론

1) 생각만큼 잘 안나온다(딸깍질이 잘 안된다)

- 컨트롤넷 IP-apater로 던져진 소재는 가중치에 따라 자세,표현력이 AI 랜덤성이 부여된다.

2) 프롬프트 대체가 이미지로 가능하다

- 전신 이미지,자세 사진 이런것 보단 블라우스,후드티 등 누끼를 따서 소재로 던져주는게 더욱더 잘나오는 경향이 있다.(특히 옷)

- 자세와 옷차림 묘사를 표현하려면 그냥 캐니,뎁스,오픈포즈,타일리샘플 하세요 또는 프롬을 구성해서 다시 입력해야하는 두번작업이 필요하는 경우도 빈번하다.

3) 되도록 고화질 이미지를 소재로 사용하라

- 몇일 안써본 제경험상 소재로 던져준 이미지의 색감, 배경, 이미지화질도 따라하는 경향도있어 구린 화질의 이미지는 품질 프롬을 때려박아도 화질구지로 나오는 경향이 큰거 같습니다. 이건 여러분들이 해보시고 평가좀 해주세요 

4) 챈러분들이 많이 하시는 프롬 구성한 후 켜놓고 자기 불가

- 한번 이미지 생성해보시고 프롬 추가/ 수정 등의 추가 작업이 필요해 보입니다.(이 프롬들도 사실 잘 안먹힌다는게 단점)

5) 되도록 심플한 소재 사용

- 배경이 난잡하고 오브젝트가 많은경우 그대로 따라하려는 경향이 있어 되도록 심플한 이미지 사용하세요(인체 연성 마구 발생함)

- 소재는 한두개로 제한해서 던져주면 좋을거같습니다. (2번 내용의 연장)

6) 암튼 신기한 기능이며, 소재가 떨어졌을때 유용하다.

현생이 바뻐 야근후 하루에 2시간 정도 2.5일간 돌려 본 개인적 의견이 들어간 글이니 반박하지마시고 그러려니 하고 봐주세요. 이거작성하는거 은근히 힘들거든요?

* 노파심에 하는 말이지만 이거 써보시고 분명 논란이 있을거라고 봅니다. 

이미지 대부분을 타일리샘플에 의존해서 뽑는 분들과 순수 프롬으로 짜서 이미지 생성하시는 분들 각자 취향이 다를거라고 생각합니다. 저는 후자에 가깝습니다. 

암튼 타일리샘플로 뽑으신 분들은 보면 딱 티가 나거든요. 그럼 순수 프롬만으로 고심해서 구상하고 짜는 분들에게는 딸깍질로 보일수도 있고 그걸로 인해 말다툼 이 발생하기도 하거든요.(예전에 본적이 있어서..) 이것도 마찬가지로 프롬 고심할 필요 없이 이미지 소재 던져주면 이미지 생성이 비교적 쉽게 되니 누군가에겐 딸깍질로 보일수도 있을거 같습니다. 생각만큼 드라마틱하게 나오진 않아서 물론 제가 몇일 안써서 사용법이 익숙치 않지만. .. 쓰라고 있는 도구니 서로 싸우지 말고 사이좋게 지내는 챈러가 됩시다.

봐주셔서 감사합니다. 정보란에 글쓰시는분들 존경합니다. 시간 은근 걸리네요.