이전 글 : https://arca.live/b/aiart/102806879

이전 1장으로 333 스텝 학습해서 캐릭터 로라를 뽑는 방식으로 어디까지 잘 뽑을 수 있나 테스트

따끈따끈한 신캐로 도전 (팰월드-벨라누아르)

티저 영상의 해당 장면을 사용하기로 함

대충 온라인에 무료로 있는 ai 배경 제거 및 화질 개선 툴 이용해서 사용할 부분만 잘라낸 모습

학습 데이터로 제일 좋지 않은 3d 모델링 이미지 + 더러운 저화질 이미지인 듯

(포토샵 몰라!)

https://huggingface.co/spaces/SmilingWolf/wd-tagger에서

SmilingWolf/wd-swinv2-tagger-v3 를 이용하여 태깅

캐릭터 특징이 될 태그(blue hair, red eyes, one eye covered)등 제외 후 캐릭터명 bellanoir을 앞에 추가

(하고 보니까 남은게 없네;;)

HollowStrawberry 코랩에서 학습

* 중간에 jax 와 xformer에서 문제가 생기는 기열찐빠스러운 일이 있었지만

코랩 셀을 두 번 눌러 코드가 나오면 코드를 수정할 수 있는데

함수에서 !pip install 으로 이거저거 까는데

(위의 함수 부분 복붙해서 ctrl+f 로 찾으면 금방 찾음)

!pip install jax==0.4.21

!pip install jaxlib==0.4.21

를 통해 jax와 jaxlib을 다운그레이드 (어느버전까지 되는지는 나도 모름)

 xformer 부분을 0.0.26.dev뭐시기 에서

if cross_attention == "xformers":

    !pip install -q xformers==0.0.25

로 얘도 다운그레이드 하면 잘 돌아갈 것임

코랩 새로운 그래픽 카드로 L4가 나왔길래 써봤는데

333 스텝을 7분만에 끝내는 미친 성능...

대신 1시간에 컴퓨팅 단위를 거의 5개쯤 먹는 쌉돼지...

학습 결과

그나마 잘나온거 1컷

학습 이미지 자체가 3D인데 태깅할 때 3d를 넣어야 했었나

네거티브에 3d를 넣어도 2d로 나오는 모습이다

생긴게 딱 가디안이라 그런지 얼굴쪽 장식은 가디안처럼 바뀌는

아니, 그냥 블루 가디안인 듯 하다

사실상 실패라고 봐야 할 듯

그나마 2D 화풍이 강한 작가의 로라나 해쉬태그를 섞어서 집어넣으면

2D 쪽으로 나오긴하는데... 그래도 영 아닌 듯

다른거로 다시 해봐야겠다