짜잘한 내용이 귀찮으면 아래에 설명본만 읽으면됨


좀 긴 내용이라 어렵다 싶은 사람은 시간두고 읽고 아니면 이전버전 쓰거나 하면 됨


일단, 기본먼저 설명하면


Segment Anything이라고 모든것을 구분해서 마스크화하는 프로젝트가 있음


그리고 GroundingDINO라는 키워드를 작성하면 해당 대상을 이미지에서 바운딩박스로 감싸는 프로젝트도 있음


해당 두개의 프로젝트를 병합하는 프로젝트가 바로 Grounded-Segment-Anything 이거임


이걸 보면 우리가 토큰을 만들듯이 dog, face, hair등 입력하면 해당하는 토큰에 최대한 맞는 마스크를 추적해서 획득하는 프로젝트임


이걸 조금더 확장해서 webui에 입력한 프로젝트가 바로 sd-webui-segment-anything 이거임


이걸 보고 ddetailer를 대체하자 해서 만든데 업뎃한 ddsd임


이전 ddsd보다 약간 기능추가가 되고 변형이 되어서 설명이 좀 김


그리고 설치법도 조금 어려움


일단 설치법부터 말함


설치법 및 사용법


무조건 설치법 보고 해야함


안보고하면 문제가 생길 수 있음


일단, 자기 컴퓨터에 맞는 CUDA를 설치해야함.


당연히 코랩은 하기 힘들지도 모름


깃헙에 설치하는 링크를 달아뒀는데 해당 위치에서 자기 webui에 맞는 CUDA를 설치하면됨


그리고 설치 링크가 조금 느린가 싶어서 아래에 내가쓰는 117버전에 맞는 CUDA를 구드로 링크 걸어둠


또한 cuDNN 이라고 추가 압축파일을 받는데 당연히 CUDA와 동일 버전으로 받아야함


이것도 내가쓰는것은 동일하게 링크를 구드로 달아둠


CUDA설치가 끝나면 cuDNN 압축파일을 풀어서 CUDA 설치 위치에 덮어씌우기 하면됨


사람마다 위치가 다르긴한데 C:\Program Files\Nvidia GPU Tool Kit\ 아래에 있을 확률이 높으니 잘 찾아서 덮어씌우셈


이제 끝났음


이제 webui로 가서 DDSD 해당 확장을 설치하면됨


설치한 후 webui를 reload가 아닌 완전히 껏다가 다시 키면


자동으로 관련 라이브러리와 모델을 다운로드함


모델 다운로드는 조금 걸리니 기달리고


모델은 시간을 아끼기 위해 저용량 모델만 받도록 했는데 더 필요한사람은 소스코드를 열면 주석처리한 링크가 있으니 그대로 받으면됨


이제 확장이 설치되면 키면 사용이 가능함



위 이미지가 업뎃한 ddsd의 GUI이고 중요한 내용들은 번호를 달아서 설명해뒀으니 쓰면됨

어차피 업스케일러나 랜덤 컨넷은 이전에도 쓰던거라 냅두면 되고


중요한부분은 DINO임


일단 4번과 5번은 적당히 선택하면 되고


아래에 6번 dino 토큰이 중요함


우리가 검색할 단어를 넣으면 되는데 face를 넣으면 얼굴을, hand를 넣으면 손을, clothes를 넣으면 옷을 처럼


특정 단어로 해당 마스크를 생성함


세미콜론으로 여러개를 생성할수도 있음


단, 세미콜론으로 생성하는것은 1회, 2회 처럼 연산 횟수를 증가시키는 개념임


다른말로 하면 인페인팅을 여러번한다 라고 이해하면 편리함


즉, face로 인페인팅, eye로 인페인팅, hair로 인페인팅 이라고 이해하면됨


그리고 탐색한 마스크가 있을텐데


탐색한 마스크를 7번 8번에 있는 프롬으로 인페인팅함


당연히 세미콜론으로 구분하고


세미콜론 사이, 즉 프롬이 없으면 자동으로 원본 프롬을 이용함


그렇게 인페인팅하는데


한번의 탐색에서 여러개의 마스크가 검색될때가 있음


뭐, 얼굴탐색을 했는데 두명이라던가 같이


그럴때는 Bitwise 옵션으로 조정하면 되는데 AND는 마스크들중 겹친부분만 인페인팅이고 OR는 마스크들을 모두 합쳐서 인페인팅임


스샷을 미리찍어서 지금은 없는데 OTHER옵션도 있음


OTHER는 마스크들마다 따로 1회씩 인페인팅을함


이렇게 하고 돌리니


지금 위에 스샷에서 찍은 옵션으로 뽑은 이미지들이 아래와 같음



보면 알겠지만 face는 따로 프롬을 안적어서 원본 프롬으로 인페인팅


clothes top(상의)는 보라색 상의로 변경했는데 가중치가 적어서 그런진 몰라도 애매한 색이긴 한데 상의가 보라색으로 물드는것이 보임


그리고 hair토큰은 붉은색으로 주니까 헤어만 붉은색이 되는걸 볼 수 있음


eyes는 파란색으로 만드니 푸른 눈이 되는걸 볼 수 있고


이렇게 각 지정별 인페인팅을 하는 기능임


조금만 잘 자동화하면 진짜 완벽하게 DDetailer화 할 수 있다고 생각함


혹시 사용법을 잘 모르겠거나 오류가 있으면...


글쎄, 이만