실험명 - 지옥에 있는 아키라 나와라!
부제 - 저질 데이터 학습 결과물은 다른 것과 섞으면 나아진다?
드림부스를 사용하여 여러가지를 갖고 놀던 중에
문득 드림부스 캐릭터 학습의 한계가 어디까지인지 궁금해졌다.
떠오른 궁금증 중 하나인, 90년대 좆망겜 캐릭터 부활 가능 여부를 실험해 보았다.
실험 대상은 90년대 PC98시절 야겜인 '바이퍼'에 등장한 캐릭터인 '아키라'이다.
90년대 게임 캐릭터이기 때문에 팬아트가 드물고,
야겜 캐릭터이기 때문에 옷을 입고 있는 사진 또한 굉장히 드물다.
더군다나 남아있는 자료들의 화질이 많이 떨어지고, 색감이 좋지 않은 데다가 제각각이다.
그렇기 때문에 오늘 실험의 대상이 되었다.
캐릭터 학습에 최악의 조건이 모두 갖추어진 상태이다.
나는 여기다가 누끼까지 불성실하게 딸 생각이다.
대충 긁어모아 사용한 자료셋은 아래와 같다.
보다시피 자료의 질 자체도 썩 좋지 않고,
실험 목적이기 때문에 누끼도 대충 지우개로 땄다.
정규화 자료는 WEBUI로 대충 girl masterpiece 등등 해서 500장을 만들어 올렸고,
드림부스 학습은 런포드, joepenna 모델로 6000step을 사용하였다.
처음에는 3000step으로 모델을 만들었으나,
자료 질이 좋지 않아서 그런지 3000step에서는 제대로 된 결과물을 얻지 못했다.
6000step에서 딴 모델로 50장을 뽑아서 얻은 결과물은 아래와 같다.
용량때문에 축소한 관계로 잘 드러나지 않으나, 화질이 영 흐릿하여
픽셀아트 수준으로 보이는 것을 보면 아직은 영체 상태에 불과한 것으로
원 자료가 화질구지였기 때문에 화질구지가 캐릭터 특성인 줄 알았나보다.
육신을 얻지 못하고 외장하드를 떠돌아 다니는 아키라를 부활시키는 것은 요원해 보인다.
AI학습채널에서 본 글 중에,
과적합 상태인 모델도 다른 모델과 섞으면 쓸만해진다는 글을 본 적이 있었다.
어떻게 보면 화질구지 상태는 픽셀아트라는 클래스의 과적합에 가까운 것이 아닐까?
이에 나는 국내 A작가님의 모델과, 해외 G작가의 모델을 6000스텝 자료와 섞어 테스트하기로 하였다.
일단 6000스텝 0.3, 별도 작가 0.7로 섞은 모델로 각각 50장을 뽑은 자료는 아래와 같다.
프롬프트 등의 주석을 달지 않은 이유는, 뭔 짓을 해도 '아키라' 캐릭터가 나오지 않았기 때문이다.
캐릭터 일러 뽑기 목적으로 0.3, 0.7 배분은 의미가 없는 일이었다.
한편, 특이하게도 섞은 A작가의 모델 같은 경우 전체적인 일러스트의 퀄이 선명해졌다.
이유는 모르겠지만 외곽선 표현이 강한 고전 야겜 아트 스타일과 과적합된 A작가 스타일이 섞여
일러스트가 뚜렷해지는 상승 효과가 발생한 것이 아니었을까?
6000스텝 0.7, 별도 작가 0.3로 섞은 모델을 사용하여,
프롬프트 AKIRA만 넣고, CFG 10, 샘플링 스텝 40으로 각각 50장 뽑은 자료는 아래와 같다.
A작가
B작가
각각 작가의 특성은 전혀 보이지 않는 것은 아쉬우나,
일러 화질 자체는 굉장히 좋아졌다.
이에 프롬프트 실험을 이것저것 해 본 뒤,
AKIRA:1.6, A작가 CFG 10, 샘플링 스텝 40으로 일러스트를 50장 뽑은 결과
꽤 고무적인 결과를 얻을 수 있었다.
화질이 굉장히 좋아졌으며, 원 일러스트의 90년대 뉴타입 그림체와 16비트 색감에서 벗어나
00년대 유루유리 시대의 그림체와 256비트 색감으로 아키라가 부활한 것을 확인할 수 있었다.
왜 A작가의 그림체가 아니라 00년대의 그림체로 부활하였는지는
기계학습과 관련된 지식이 전무한 나로서는 의문이다.
90년대 + 10년대 연도를 평균내서 00년대로 부활한 것이 아닐까 추정할 따름이다.
외곽선 문제로 볼 때 진짜로 그렇지 않을까?
거슬리게 글자와 배경 노이징이 많이 발생하였는데,
아마도 지우개질만 하고 누끼를 제대로 따지 않아서 그런 것이 아닌가 생각이 들었다.
G작가의 모델 프롬프트 테스트를 통해서는 좋은 결과를 얻지 못했는데,
스타일과 그림체가 너무 강해서인가? G작가의 스타일과 관련된 프롬프트 일체를 넣자마자
아키라의 망령이 그야말로 귀신같이 사라지는 현상이 발생하였다.
실망스러운 결과였으나, 프롬프트를 빼고 CFG나 스텝을 조정하여 테스트를 진행하였다.
아래는 CFG를 12로 늘리고 스텝을 80주고 출력한 결과물이다.
육안으로만 보아도 6000스텝 단일 모델에서 얻을 수 있는 것보다 훨씬 나은 결과물이 출력되었다.
기존 자료에서 볼 수 없는 동세임에도 불구하고
복장이나 캐릭터 재현율이 상당한 것으로 판단하건대
좆망회사 sogna의 좆망겜 바이퍼에서 잠들어 있는 아키라는
2022년 오늘 만족스럽게 부활했다고 보아도 무방할 것이다.
왜 야겜캐인데 야짤은 없냐고 아쉬워하는 사람들이 있을 것인데,
아니 벗기면 그냥 빨간머리 포니테일 거유 아가씨라
다른 캐랑 다 똑같아지는데 실험이 안 돼잖아
어쨌든 성원에 부응하여 nsfw 프롬프트를 사용해 결과물을 출력해 보았다.
????
모든 모델을 사용하여 얻은 결과물에 동일하게 발생한 현상이었는데,
nsfw 이하 야짤 프롬프트를 사용할 경우 모든 결과물의 질이 월등히 상승하였다.
원활한 복장 학습을 위하여 일부러 원본 데이터는 벗긴 자료를 쓰지 않았는데
내부 자료는 기존 모델의 데이터로 보정하기 때문에 당연스럽게 퀄리티가 올라가는 것이었을까?
그렇다고 보기에는 얼굴이나 손, 다리 등 전신의 퀄이 자연스럽게 상승하는 점이 의문이다.
그 원본캐가 야겜캐라 그 혼이 오염되어서 그런 것일 지도 모르겠다.
모델별로 50장 뽑아 얻은 결과물이 상기의 자료들이니,
실제로 더 많은 결과물을 보고 사용한다면 훨씬 나은 자료들을 얻을 수 있을 것이다.
썩 좋지 못한 조건임에도 불구하고 실험은 성공이라고 볼 수 있을 것이다.
이상으로 실험 - 지옥에 있는 아키라 나와라! 를 마친다.
소요시간 -
데이터 수집부터 결과물 출력까지 대충 8시간정도 걸린 것 같다.
런포드를 사용한 드림부스 학습은 대충 3시간 반 정도 걸렸다.
컴퓨터 잘 모르는 문과충이라서 정보글 쓸 능력이 되지 않는다고 생각해 참았으나,
여기 학습 채널에서 많은 도움을 받았기에 어떻게든 기여해 보고 싶어서
용기를 내어 정보글 비슷한 글을 쓰게 되었다.
드림부스가 뜨고 나서 오히려 정보글의 총량은 줄어든 느낌이 드는데,
정보글이 늘어야 성능 좋은 드림부스가 보편화되고 더 많은 사람들이
좋은 자료들을 양산해 줄 것이라고 생각한다.
정보글 많이 '써줘'
