anime-full-pruned.ckpt가 뭔가 기형적이던데 이것도 변환코드 있음??
diffusers/script에 있는거 안되길래 살짝 고쳤는데

요거 diffusers 모델 안에 보면

scheduler
unet
vae
text encoder
tokenizer
이렇게 5개 있는데 anime full latest는 vae 모델이 따로 있어서 지정해서 넣어줘야하더라고 근데 이건 내가 틀릴 수도 있음 내가 본 모델 구성이 어떻게 되있는지 몰라서
pruned는 vae 모델 있는 그냥 가져다가 쓰는거 같더라구
변환코드 자체가 저 5개 중에 파일이 있으면  그걸로 쓰고 아니면 stable diffusion에서 가져다 쓰는걸로 되있던데

7기가 짜리 파일 1개로도 잘됨??
vae랑 같이 있길래 얘네 페어인줄 알았는데 아닌가?;;

ㅇㅎ.... vae가 원래 unet에서 32x32로 생성된 이미지를 해상도에 맞게 키워주는 역할을 하는데 드림부스 같은걸로 fine tuning 하는 정도로는 크게 문제되지 않는가보네 ㄱㅅㄱㅅ

잘 몰라서 그러는데 pruned도 생성할때 vae 파일 같이씀??

https://arca.live/b/aiart/61760033?target=all&keyword=%EB%93%9C%EB%A6%BC%EB%B6%80%EC%8A%A4&p=2

-  convert_original_stable_diffusion_to_diffusers.py 에서  text_model = convert_ldm_clip_checkpoint(checkpoint) 부분을  text_model = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14") 로 교체한 다음에 diffuser로 변환했다가 다시 ckpt로 변환해서 테스트해봤는데 동일한 이미지가 생성됐습니다. 컨버트된 체크포인트 파일을 이전에 오류가 발생했던 colab에 사용하면 오류 없이 사용이 가능했습니다. test가 변환된 ckpt로 생성된 이미지 입니다 :