제목표현을 좀 쌈마이하게 했지만, 당분간은 이게 Ai그림 포즈에 있어서 혁신이 될 것으로 보여. 

이 기술에 대한 얘기가 나온지는 몇 주 된 지라, 신기술에 항상 목말라있던 고인물 챈붕이들이라면 ControlNet에 대해서 이미 들은바 있을지도 모르겠음.


그런데! 이번에는 webUI에 이식되었다는 소식을 듣고 급하게 다운받아서 렉카 끌어봤음.

나도 그림이나 기술에 대해서 잘 아는 건 아니지만, 그래도 한번 소개해볼게.


1. 컨트롤넷이란? 

https://github.com/lllyasviel/ControlNet

학술적인 설명은 따로 하지 않을게. 들어가서 다 보면 도움이 되긴 하지만.

그래도 우리 핑프 친구들을 위해서 몇개만 퍼와서 예시를 보여줄게.


컨트롤넷에는 몇 가지 방식이 있음.


Canny edge를 활용한 컨트롤넷.

그림의 가장자리를 따와서 새로 그려주는거임.


맨 왼쪽의 개 사진에서 


테두리를 따 온 다음 


다른 놈들을 그리는거임. ㅇㅋ?



HED 경계가 있는 컨트롤넷.

위의 캐니 엣지와 비슷하지만 경계선을 조금 더 부드럽게 가져온 모습을 볼 수 있음.


낙서를 활용해서 그림을 그려주는 컨트롤넷. 

그림판 같은걸로 대충 찍찍 그은 다음에 그려달라고 해도 그려줌.


이런 식으로. ㅎㅎ

물론 프롬포트에는 dog in a room이라고 적었으니 저렇게 찰떡같이 알아먹는거지만 말야.


팔다리 포즈를 이용한 컨트롤넷.

저 근육맨에게서 뼉다구를 뽑아낸 뒤에, 요리사에게 이식시키는 장면임


세그먼테이션 맵을 이용한 컨트롤넷.

파란색은 물이고, 하늘색은 하늘이고, 초록색은 풀이고.... 를 지도처럼 구성해서 재구성해주는 방식임.

예전부터 나왔던 이런 짤 본 사람들 많을거임. 

저렇게 세그먼트(영역)을 찍찍 그어주면 풍경화를 만들어주는 그런 방식인거지

풍경을 뽑을때 많이 쓰일 것으로 보이고.. 사실상 이 챈에서는 인기는 없을 것으로 보임


뎁스맵을 활용한 컨트롤넷

사진의 깊이값을 활용한 방식임. 꽤 쓸모가 있을것으로 보임



노멀맵을 이용한 컨트롤넷

위의 뎁스맵이랑 비슷하지만, 잘 보면 뎁스맵에 비해서 세부 깊이정보가 더 자세하게 기록되는 것을 볼 수 있음.



=======================


2. 그래서 어케 씀? 


내가 이걸 잘 알고 설명하는게 아니고, 그냥 이렇게이렇게 하니까 되긴 되더라 수준이라는 걸 양해바람..

일단 거두절미하고 설명하겠음. 


이번에 WebUI에 적용된 확장기능은 여기서 받을 수 있음.

https://github.com/Mikubill/sd-webui-controlnet



링크 들어가서 직접 받지말고, [webUI] - [확장기능] - [URL로부터 확장기능 설치] 들어간 담에 위의 주소 복붙하고 설치하면 됨.


[설치된 확장기능] 들어가서 컨트롤넷 설치된거 확인하고, 적용후 재시작 누르자.






다음엔 https://huggingface.co/lllyasviel/ControlNet/tree/main/models 들어가서 모델을 다운받아야 됨.

내가 위에서 여러가지 방식 하나하나 설명했던 내용들이 저 모델들임. 

우선 나는 여기서 뼉다구 포즈 방식을 해볼것임. openpose.pth 파일을 다운받자.

경로는 설치폴더\stable-diffusion-webui\extensions\sd-webui-controlnet\models에 넣어야 됨.



webUI를 껐다켜고 t2i에 들어가면 컨트롤넷 항목이 생겨있을것임.

내가 빨간색으로 표시한 부분 설정맞추고, 해상도도 맞춘 다음, 포즈를 가져올 사진을 넣어.

나는 '농구하는 소녀들'의 사진을 넣었어.

그리고 t2i 프롬프트에는 '등산하는 소녀들' 에서 사용했던 프롬프트를 넣을 거야.

준비는 끝났고, 생성 버튼을 누르면....!!!


이런 포즈가 불러와지고



짜잔~

포즈가 조금 세부적으로는 다른 부분은 있더라도, 큰 틀에서 팔 올린 모습이나 화면에서 몸이 차지하는 비율 등, 큰 부분을 계승받은 모습을 알 수 있어.



일단 여기까지가 내가 한번 해본걸 설명한 내용이야.

나름 쉽게 설명해줬으니까 너네도 같이 연구해 '줘'

뼉다구포즈방식 말고도 다른 모델도 다 특색이 있으니, 한번씩 써 보길