1. 컨트롤넷 오픈포즈 쓰려면 포토샵, 블렌더도 써야함?
2. 컨트롤넷 WEBUI 확장 설치 어떻게함? 모델별 특징 뭐임?
3. 노멀맵 써봤는데 이상하게 나옴
4. 뎁스맵은 정확한데 포즈 재현율이 떨어짐
5. 오픈포즈 썼는데 자꾸 포즈 이상하게 나옴1
6. 오픈포즈 썼는데 자꾸 포즈 이상하게 나옴2
7. 오픈포즈 썼는데 포즈 인식이 안됨
8. Preprocessor none으로 해야함? / 오픈포즈 뼈대 넣었는데 왜 그림이 안나옴? 오픈포즈 안됨 오픈포즈 버그 인식
9. 그럼 컨트롤넷에 포토샵이랑 블렌더 쓰는 사람은 뭐임?
1. 컨트롤넷 오픈포즈 쓰려면 포토샵, 블렌더도 써야함?
ㄴㄴ 겁먹고 안하면 니 손해, 없어도 됨
걍 컨트롤넷 자체에서 사진 집어넣기만 하면 자동으로 포즈 추출해주고, 그 포즈 기반으로 그림 만들어준다.
그리고 컨트롤넷에 저 포즈 추출해주는거 말고도 기능 많음
2. 컨트롤넷 WEBUI 확장설치 어떻게함? 모델 많던데 각각 특징 뭐임?
컨트롤넷 설치 및 사용방법 : https://arca.live/b/aiart/69816884
컨트롤넷 모델별 설명 : https://arca.live/b/aiart/69724880
openpose말고 다른것도 찍먹 ㄱ
depth normal canny hed등등 맛난거 묵어봐라 쥑인다
pruned모델도 나왔으니 용량 압박있는 사람도 이제 가볍게 즐길 수 있음
3. 노멀맵 써봤는데 이상하게 나오던데..
WEBUI 이식 초창기에 노멀맵 버그 있었는데 업데이트하고나서 버그 잡혔음
https://github.com/Mikubill/sd-webui-controlnet/commits/main
링크 보면 알겠지만 업뎃 무지막지하게 되니 하루에 한번씩은 업데이트해주자.
4. 뎁스맵은 정확한데 포즈 재현율이 떨어짐
Weight라고 적힌거 있을텐데 이거 살살 조절해보자.
분석결과에 얼마나 충실히 따를지 조절하는 개념이라고 보면 됨
5. Openpose 썼는데 자꾸 포즈 이상하게 나옴1
좀 애매한 포즈다 싶을땐 관련 프롬을 추가해주면 도움이 된다.
서있으면 standing, 뒤돌아있을땐 from behind 같은 태그를 넣어보자
저 위에 weight 조절하는거도 만져보면 더 좋음
물론 포즈가 완벽히 추출된 상태에 관련 프롬 넣어도 잘 안되는 경우는 있을 수 있음
6. Openpose 썼는데 자꾸 포즈 이상하게 나옴2
니가 포즈 추출용으로 넣은 이미지는 가로가 긴데, 정작 출력되는 이미지는 세로가 길다.
이러면 문제가 생길 확률이 높다. 포즈 추출용으로 넣은 이미지와 이미지 비율을 어느정도는 맞춰주자.
참고로 Canvas Width와 Height는 Scribble 모드에서 그림판 크기를 확장시키는거니 착각하지 말자.
샘플링 방법 밑에 있는 가로와 세로를 조절해주자.
예를 들어서 이 이미지를 포즈 추출용으로 넣었다고 치자.
포즈 부분이 저기 왼쪽 끄트머리에 있어서 완전히 잘려나갔다.
이러면 전혀 생뚱맞은 이미지가 나온다. 그럼 비율을 일치시키면 어떻게 되나 확인해보자.
추출한 포즈 그대로 적용되서 잘 나온다.
이 이미지도 똑같이 예시를 들어보면
마찬가지로 포즈 일부분이 잘려서 왠 괴물이 튀어나온다.
이거도 그림 비율을 일치시키면
정상적으로 그림이 나온다.
7. Openpose 썼는데 포즈 인식이 안됨
오픈포즈는 실제 사람 포즈를 추출하는 용도로 개발된거라 사진을 넣었을때 타율이 좋다.
그림을 넣었을 때는 타율이 낮거나, 아예 인식을 못해서 포즈 추출이 안되는 경우가 있다.
그림은 일단 넣어보고 포즈 추출이 안되면 depth, normal로 바꿔서 사용하면 됨
8. Preprocessor none으로 해야함?
/ Openpose 뼈대 넣었는데 왜 그림이 안나옴?
사진을 변환시킬땐 Preprocessor를 설정해야함.
Preprocessor none으로 하는 경우는 너가 마음에 드는 뼈대 그림, Depthmap등을 넣을 때 해당함.
<이런 식>으로 뼈대를 공유하는 케이스가 있는데 이거 받아서 활용할 때 none으로 하면 됨
즉 뼈대 넣을거면 위 사진처럼 Preprocessor none / Model openpose 설정하면 된다.
가끔 뼈대넣고 Model에 canny 세팅해놓고 안된다는 사람 있는데 제대로 세팅해라
그리고 어제 몇명이 검은선으로 직접 그린 포즈 넣고 왜 안되냐고 질문하던데 당연히 안된다.
기본적으로 왼쪽의 관절 숫자와 컬러가 중요하다.
포즈 뿐만 아니라 직접 만든 뎁스맵 넣고 돌릴 수도 있음
9. 그럼 ControlNet에 포토샵이랑 블렌더 쓰는 사람은 뭐임?
정보탭보면 포토샵이니 블렌더니 이런거로 포즈 직접 만드는 사람이 있는데 이유는 간단함
사진에서 추출하면 간혹 일부 관절이 증발하는 경우가 있음
지금 같은 경우 15, 17 정보가 증발했는데, 이걸 그대로 돌리면 포즈는 잘 나와도 얼굴이 붕괴될 확률이 높음
꼭 이 경우외에도 팔이나 다리 관절 증발해서 이상하게 나올 수도 있는데
직접 뼈대를 조절하면 문제가 없겠지
그리고 포즈를 직접 만들 경우 여러명을 그려넣는데 효과가 좋기도 하고
이런식으로 블렌더에서 뼈대 애니메이션을
이미지 시퀀스로 추출한거 컨트롤넷에서 돌리면 애니메이션이 뚝딱하고 나온다.
누가 한장 한장 넣어야하냐고 그러던데 그럴 필요 없음.
img2img에 있는 batch 기능 이용하면 됨
저기 트위터에 자세히 설명해놨던데 관심있으면 저기 보고 따라하면 됨
포토샵용 뼈대
https://arca.live/b/aiart/69959869
클립스튜디오용 뼈대
https://arca.live/b/aiart/70005122
PPT용 뼈대
https://arca.live/b/aiart/69978900
블렌더용 뼈대
https://arca.live/b/aiart/69916661
애니메이션 뽑을거면 블렌더정도는 만져도 괜찮겠지만 (소프트웨어 무료임)
https://arca.live/b/aiart/70174220
이제는 WEBUI 확장으로도 포즈 에디터가 나왔으니 굳이 포토샵 만질 필요 없음
