날림 소개라서 설명이 이상하거나 부족할 수 있음.
https://gist.github.com/Stella2211/ab17625d63aa03e38d82ddc8c1aae151
이거 써보니 돌아가기는 하는둣.
윈도우 기준 설치 방법. 테스트에 사용된 그래픽카드는 4070ti 이지만 3060도 가능할지도?
CUDA Toolkit 11.7 설치후 path를 11.7만 있도록 설정.
위 링크의 DeepFloyd_IF_VRAM12GB.py 를 다운받아 어딘가에 둔 다음
python -m venv venv 으로 가상환경 만들고
.\venv\Scripts\activate 으로 가상 환경 들어가고
pip install deepfloyd_if==1.0.2rc0
pip install xformers
pip install git+https://github.com/openai/CLIP.git --no-deps
pip install --upgrade diffusers~=0.16 transformers~=4.28 safetensors~=0.3 sentencepiece~=0.1 accelerate~=0.18
pip uninstall torch torchvision torchaudio
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
까지 해서 이것저것 설치. pip에서 deepfloyd_if 의존성 문제가 있다고 경고가 뜨겠지만 아무튼 돌아갈거임.
python .\DeepFloyd_IF_VRAM12GB.py 으로 실행
이후 DeepFloyd_IF 모델 접근 가능한 허깅페이스 계정 토큰 물어본 다음 엄청난 용량의 다운로드를 할것이니 참고.
스테이지 3 까지 돌려서 모든 모델을 다 다운받은 다음 나중에 프로그램을 가동하는 경우 DeepFloyd_IF_VRAM12GB.py 로그인 관련을 지우거나 주석 처리하면 편함. 그 외에도 워터마크 제거도 가능.
성능은 그럭저럭으로 SD 2.1 보다 괜찮은듯.
GitHub - neonsecret/IF
VRAM 8GB 버전도 있다고는 하는데 이건 안써봐서 모르겠음.
