https://arca.live/b/aiart/74702523
위 링크는 먼저 써놓은 글
여기에는 좀 방법에 대한 서술이나 잡설같은거 써놓을 예정
------------------------------------------------------------------------------------------
잡설
일단 캐릭터 lora를 만들면서
정규화를 4종 5종으로 막 늘려나가면서 해보니 잘되네? 싶어서 이래저래 하다가 떠오른 아이디어임
코이카츠의 특유의 3D 캐릭터 외형을 그림체 lora로 학습시키고
정규화 기능으로 코이카츠 그림체를 분리시켜내면
3D 스크린샷만 가지고 2D 캐릭터 lora를 만들수 있지 않을까?
라는 아이디어였음.
------------------------------------------------------------------------------------------
차용한 아이디어
https://arca.live/b/aiart/72849008
lora학습 프레임워크 관련 글인데
거기서 얼굴 5방향*3방향 으로 하고 태그를 사전에 지정하는거를 차용함.
해당 아이디어를 차용한 결과
카메라 8방향 * 3각도 * 3목표 = 72장씩 하게되었고
각각의 상황에따라서 태그를 사전 지정해뒀고
스크립트로 그때그때 알아서 사전 생성해두게 하고 했음.
------------------------------------------------------------------------------------------
방법
1. 코이카츠 그림체 LORA를 만든다
나같은 경우 대략 28캐릭터 * 72방향 스크린샷 = 2016장 으로 만들었음
어짜피 스크린샷 찍는건 최대한 머리 쓰면 15초에 72장 찍고, 1분에 1캐릭터 이상 처리 가능했음.
단축키 72번씩 눌러주는 매크로 사용 + 스크린샷 자동 이동 스크립트 작성해서 돌림.
(코이카츠 스튜디오의 스크린샷 기능의 문제점때문에 찍자마자 옮겨야 빨리 처리 가능해서 그렇게 했음)
처음 만든 그림체LORA여서 이게 잘 만들어진건지 전혀 모르는 상태지만
내가 원한 기능들을 어느정도 수행할순 있더라.
(학습 모델로써 사용 가능했음)
2. 코이카츠 그림체 모델로 병합시키기
나같은경우 animefull에 학습시켰으므로, animefull에 병합해서 사용함
3. 코이카츠 그림체 모델을 기반으로, 코이카츠 3D 스크린샷을 가지고와서, 캐릭터 lora 를 학습시키기
정규화를 사용하는 캐릭터 학습처럼 돌렸음
캐릭터 학습용 데이터셋도 72장 똑같이 찍어서 사용함
이렇게 학습하면
코이카츠 그림체 모델 기준으로
코이카츠 스크린샷처럼 뽑아내는 캐릭터 lora가 탄생하는데
이 캐릭터 lora는 코이카츠 그림체를 전혀 배우지 않았으므로
(이론상 그림체 모델이 배운걸 기준으로 정규화로 최대한 고정했기 때문에 실제로는 미세한 영향까지만 옴.)
다른 모델로 보내서 사용하면 생각보다 범용적으로 사용 가능한 캐릭터 lora가 탄생함.
------------------------------------------------------------------------------------------
개선할만한 사항
1. 그림체 lora 제작시, 학습데이터의 캐릭터 종류 엄선에 관해서
어떤 캐릭터를 써야하는지, 어떤 조건의 캐릭터가 좋은지, 남캐 학습용 모델은 나눠서 해야하는지 등등 모르는게 너무 많음
2. 그림체 lora 제작시, 학습데이터의 촬영 각도에 관해서
일단 360도 방향을 45도씩 나눠서 8방향씩 촬영했는데
이걸 30도씩 나눠서 12방향으로 나누는게 좋은가, 줄이는게 좋은가 모르겠음.
3. 그림체 lora 제작시, 학습데이터의 촬영 포커스 대상에 관해서
얼굴만 찍은것, 상반신, 전신 이렇게 3종류를 다 찍어서 넣었는데
상반신과 전신만 남기는게 좋은가 모르겠음
------------------------------------------------------------------------------------------
그외 뻗어나갈만한 아이디어
코이카츠 말고도 3D 캐릭터 커스터마이징이 가능한 게임은 매우 많음.
그 게임들도 lora를 만들면, 해당 게임의 커스터마이징 기능으로 캐릭터 lora를 만드는게 가능할거라고 생각됨.
------------------------------------------------------------------------------------------
마지막으로
코이카츠 그림체 lora를 확실하게 잘 만들면
자작캐릭터 lora나, 마이너한 캐릭터 lora를 만드는데에 많은 도움이 될거라 보임.
일?단 학습 관련 정보니까 여기도 써놔야겠다 싶어서 오랜만에 씀
