일단 이 글을 쓰게된건
https://arca.live/b/hypernetworks/61144048
요 글을 보고 내 경험을 공유하고 싶었음
이미 다 알만한 정보 같아서 탭은 따로 안붙임
약 12시간 넘는 시간 동안 내가 학습 시킨 스파이더맨 드림부스를
여차저차 연구해보면서 모은거 정리해봄
귀찮은 관계로 프롬프트를 전체 다 적진 않고 png 파일명에 써있는거만 긁어왔다.
1. 초회차, 최소한의 프롬프트로 11회 시도
사용 프롬프트 : masterpiece, best quality, 1boy, spider man + AI그림챈의 딸깍 태그 스타일 적용
11회의 시도 중 건질만한 유의미한 그림은 2개가 전부였다. 나머지는 의도한대로 안나오거나 노말 케이스 정도 였음.
그래도 AI채널의 https://arca.live/b/aiart/61233469 이런 처참한 결과물 보다는 스파이더맨을 잘 뽑는 느낌이다.
+곤살로도 여러번 시도해 봤지만 타율이라고 하기도 민망할 정도로 성공한적이 없었다.
2. 2회차, 딸깍 태그 스타일 제외하고 실험적인 프롬프트를 시도
성공 케이스 프롬프트 예시 : masterpiece, best quality, 1boy, spider man, solo focus, looking at viewer, human, spideyy
여기서 spideyy는 해골물인지는 모르겠는데, 드림부스 훈련할 때 적으라는 클래스 이름인가 그거인데
이걸 넣어주니까 타율이 올라가는 느낌이라 넣기 시작했다.
약 7회의 시도중 이번에도 2장 정도 건졌다. 비율 대비 타율은 오른 셈이다.
3. 3회차, 프롬프트를 서서히 다듬어가는 단계
사용 프롬프트 : masterpiece, best quality, 1boy, spider man, solo focus, looking at viewer, human, (spideyy), muscular male
프롬프트가 거의 다듬어졌음에도 불구하고 그림체가 들쑥날쑥하다. 이건 학습 파일들도 들쑥날쑥하니 그럴만하다.
하지만 약 15장 중에, 7장의 유의미한 성과를 거뒀으니 나름 만족스러웠다.
다만 아직도 스파이더맨의 "spider"를 별개로 인식하는건지, 아니면 스파이더맨 자체가 동작이 다이나믹해서인지
기괴한 결과물들은 꾸준히 출석중이였다... 네거티브 프롬프트에 Dynamic pose, Dynamic angle 도 넣어봤지만 체감 x
4. 여전히 그림체는 왔다갔다 하지만... 새로운 시도가 먹혀들었다.
사용 프롬프트 : masterpiece, best quality, 1boy, solo focus, human, (spideyy), muscular male, ((abs)), (dynamic pose:0.5), muscle, ((cowboy shot))
dynamic pose.. 네거티브에서 있을 때에는 잘 들어먹지도 않더니만 가중치를 0.5 까지 낮춰놓고 cowboy shot 으로 한계를 주니까
금상첨화로다가 잘 맞아떨어지기 시작했다. 33개의 결과물 중에서 3개 빼고는 유의미한 결과물들이 나오는 쾌거를 거둬냈다.
5. 어차피 이렇게 된거.. 그림체를 확립 시킬 강한 태그가 필요했다.
그래서 이것저것 시도해보게 되는데, 그 과정에서 유의미한 결과물을 도출해낸 태그가 있었으니..
western comics style 이라는 태그다.. 사실상 이쯤되니 배드 케이스가 없었다.
아래 사진의 01은 아마 anime 관련 태그를 썼을텐데 기억이 나질 않는다. 02가 western 태그를 쓴 예시이다.
그렇게 western comics style 로 19장을 뽑으면서 실패랄게 없었다.. 다들 아쉬운 정도지 기괴한 그림은 더이상 없었다.
6. 그림체가 더 확실해지면 좋겠다. (exif,파일명 보존)
img2img 를 쓰기 시작했다. 성공한 결과물 중 맘에 들었던것들로 i2i를 돌려보았다.
그간 뽑은것중 가장 마음에 드는 그림이였다. i2i를 개뿔도 모르지만 일단 해보자
내가 원하는 드라마틱한 성과는 없었다..
결국 이 그림은 때려치고, 아쉬웠던 그림으로 넘어간다.
내가 원하던 이상에 가장 가까운 그림체였지만, 팔이 3개나 뻗어나와있고 하체 슈트가 고증이 이상하게 되었다.
인페인팅 기능을 써서 복구를 시도해봤다.
그렇다.. 나는 인페인팅 따위 쓸줄 모르던것이였다..
정보글을 찾아봐도 내 머리로는 이해가 어려웠다.
그러면 그냥 i2i로 다시 돌려보자라고 생각하고, 정보글을 찾던 도중
가뭄의 단비 같은 정보글을 발견했다.
https://arca.live/b/aiart/64492819
내게 광명을 가져다준 정보글이였다. 바로 시도해봤다.
오오옷 쩌...쩌럿...
디노이징 강도를 0.9~1.0 정도 사용하면서 i2i 로 t2i에서 성공했던 그림을 돌린다!
이것이 정답이였다.. 드림부스를 내 입맛에 맞게 최대로 굴릴 방법이였던거다..!
이 말을 하고 싶어서 이 글을 쓰게 되었다.
그럼 이제.. 이걸 기반으로 내 사심을 채워보자
찢어진 슈트.. 쩔엇...
그 이후로 연속 뽑기 걸어놓고 자러갔다
요약
드림부스로 내가 원하는 그림체의 내가 원하는 묘사를 뽑는 방법은
일단 최적의 프롬프트를 연구한다 -> 마음에 드는 그림을 고른다 -> i2i 로 디노이징 0.95~1을 주고 원하는 프롬프트를 추가한다.
헤응,..나죽어
