후기 쓸려고 글을 많이 써놓았던 메모장이 없어졌음;; 어제 그냥 쓸껄.
일단 스테이블 디퓨젼에서 튜토리얼 페이지를 작성해 놓았으니 시간나면 이글도 읽어봐
https://stable-diffusion-art.com/sdxl-model/
위 페이지를 요약하자면 프롬을 이렇게 주고 뽑았을때 SD v1.5는 이랬는데
SDXL base모델과 refiner쓰면 이렇다. 이런 형식으로 프롬 정보와 파인튜닝된 1.5 모델까지와의
비교샘플을 여러개 뽑아놓았어. SDXL에서의 권장 해상도는 아래와 같음.
21:9 – 1536 x 640
16:9 – 1344 x 768
3:2 – 1216 x 832
5:4 – 1152 x 896
1:1 – 1024 x 1024
이틀동안 컴파이에서 SDXL을 만져보면서 얘네가 굉장히 다양한 환경과 상황에 대한
학습을 많이 시켰다는걸 느낄수 있었어. v1.5에서 특이한 상황에 대한 프롬을 적었을때
그 상황 구현되는 성공률이 5%미만 이었다면 SDXL은 30%정도로 확 올라간 느낌.
그리고 애니메이션쪽도 꽤 많이 학습이 되서 프롬에 anime, 일러스트같은 키워드를 추가하면
애니메이션 스타일로도 잘 나오더라.
실사 인물쪽은 아직 부족하지만 바질같은 뛰어난 파인튜닝모델이 나오면 사용자가 늘거 같아.
학습픽셀수가 4배로 늘었으니 뛰어난 모델과 로라가 많이 나올거 같음.
지금 civitai에선 상품내걸고 8월 11일까지 SDXL 모델과 로라대회도 개최하고 있어.
워낙 고인물 매니아들이 많이 있는 분야다 보니 인물쪽은 시간이 해결해 주겠지.
지금 SDXL진입장벽은 PC사양인데 시스템메모리 16G+ V램 8G조합으로 컴파이를 돌릴때는
기본모델 1개만으론 무리가 없을정도로 쾌적했지만 refiner모델까지 추가해서 돌리는건 무리더라.
V램이 부족해서 그런게 아니라 시스템메모리때문에 자꾸 터짐. 리파이너 모델까지 같이 돌리려면
시스템 메모리가 최소 32G는 되야 하더라구. webui로 돌리려면 V램까지 높아야 할꺼야.
아래는 16g+2060시스템으로 뽑아본거라 리파이너 없이 베이스 모델로만 뽑은 그림들이야
sd v1.5때와 비교해보면 배이스 모델만으로 뽑은것 치곤 잘나온거 같음.
실사는 photo of 나 photograph of 를 처음에 적고 문장뒤에 추가로 realistic, photorealistic을 적어주면
거의 실사스타일로 나와. 제작사쪽에서 배포한 샘플들에 퀄리티관련 프롬들을 안쓴거 보면 학습시킬때
문장형식으로 학습을 시킨거 같아. 우리도 그냥 문장형식으로 쓰고 디테일 관련 프롬만 추가하면 될듯해.
애니메이션 스타일은 그냥 anime만 적어주면 잘 나왔어. 위는 같은 프롬으로 저 단어만 변경해가며 뽑은거임.
아래는 집에서 시스템메모리64G + 3060노멀 12G + 다른 고수가 만든 워크플로우 조합으로 뽑은건데
램 사용량 모니터링 해보니까 시스템메모리는 20~26G, V램은 7기가 중후반 정도를 사용하더라.
webui는 컴파이보다 V램 더 많이 먹을꺼임.
위 그림을 뽑은 컴파이용 워크플로우 파일은 아래 링크에서 받을수 있어
https://civitai.com/models/117505/sdxl-10-comfy-workflows-with-super-upscaler
전에 내가 썼던 컴파이 설치글을 보면 컴파이매니져 설치하는 방법도 써있는데
남이 만든 워크플로우를 불러왔을때 해당노드가 없어서 활성화 안되는경우 매니져에서
Install missing custom Nodes를 선택하면 빠진 노드들을 설치 할수 있다.(upscale파일들은 model쪽에 있음)
찍먹용으로 가지고 놀기엔 괜찮으나 아직 동양쪽 인물뽑는 용도로는 많이 부족해.
나중에 바질같은 걸출한 파인튜닝 모델이 나오면 그때가서 본격적으로 사용해도 괜찮을거 같다.
그리고 프롬을 생각보다 잘 알아들어서 이걸로 뽑고 webui에서 타일리샘플로 재가공 하는것도 괜찮은거 같아.
cfg는 webui+v1.5조합으로 썼을때와 같이 6~8, 스텝은 25~30이 좋았고
샘플러는 실사는 uni-pc, 애니메이션스타일은 uni-pc, heun이 괜찮았어.
