이전 소개글 : https://arca.live/b/aiart/91908309

오픈 소스 그림툴인 Krita와 Stable Diffusion 플러그인을 이용한 실시간 I2I를 설치/설정하는 법을 소개할께.

아래는 10분동안 생성한 이미지야.

10배속 (선택영역 지정을 못해서 애먹고 있다)

설치

• Krita : https://krita.org
• ComfyUI
  • 설치법 : https://arca.live/b/aiart/82173924
  • 되도록 C드라이브에 설치 추천함.
• krita-ai-diffusion : https://github.com/Acly/krita-ai-diffusion
• krita-ai-diffusion 구동 용 ComfyUI 확장 및 모델
  • 설명 : https://github.com/Acly/krita-ai-diffusion/wiki/ComfyUI-Setup#required-models
    • 설치 중 문제가 생기면 이 설명을 읽읍시다.
  • custom_nodes
    • https://github.com/Fannovel16/comfyui_controlnet_aux
    • https://github.com/cubiq/ComfyUI_IPAdapter_plus
    • https://github.com/ssitu/ComfyUI_UltimateSDUpscale
      • git clone https://github.com/ssitu/ComfyUI_UltimateSDUpscale --recursive 이렇게 설치해야 함.
    • https://github.com/Acly/comfyui-tooling-nodes
  • clip vision 모델
    • 다운로드 : https://huggingface.co/h94/IP-Adapter/resolve/main/models/image_encoder/model.safetensors?download=true
    • ComfyUI/models/clip_vision/SD1.5/ 에 복사하면 돼.
      
  • 업스케일러 모델
    • 다운로드 : https://huggingface.co/gemasai/4x_NMKD-Superscale-SP_178000_G/resolve/main/4x_NMKD-Superscale-SP_178000_G.pth
    • ComfyUI/models/upscale_models/ 에 복사하면 돼.
  • LCM Lora
    • 다운로드 : https://huggingface.co/latent-consistency/lcm-lora-sdv1-5/resolve/main/pytorch_lora_weights.safetensors?download=true
    • models/loras/lcm-lora-sdv1-5.safetensors
    • 파일명을 lcm-lora-sdv1-5.safetensors로 바꿔야 됨!
  • 그 외 설치 필요한 사항들
    • IPAdapter : 다운로드 / 설치경로 : custom_nodes/ComfyUI_IPAdapter_plus/models
    • CN Inpaint : 다운로드 / 설치경로 : models/controlnet
    • CN Tile : 다운로드 / 설치경로 : models/controlnet

설정

아주 길어요. 각오하세요.

1. ComfyUI 실행
2. Krita 설치 후, 1회 실행
3. C:\Users\<user>\AppData\Roaming\krita\pykrita 폴더에 krita-ai-diffusion 압축 해제
   
   
   
4. Krita 재실행 후, [ 설정 - Krita 설정 - Python 플러그인 관리자 ]에 가서 AI Image Diffusion 체크 후 확인 버튼
   
   
   
5. Krita 재실행 후, 새 이미지 생성. 이미지 사이즈는 512x768을 추천.
   (캔버스 크기만큼 생성함. 캔버스를 2048x2048로 잡으면 2048x2048을 생성함)
   
   
   
6. [ 설정 - 도커 - AI Image Generation ] 선택해서 체크
   
   
   
7. 우측 하단에 창이 생기면 제목 드래그 해서 좌측 끝으로 옮기는 것 추천
   
   
   
8. 톱니 아이콘을 눌러 설정으로 들어감.
   
   
   
9. Connection 에서는, External Server를 선택 후, 주소 입력 한 뒤 Connect 버튼을 누름. (주소는 동일 PC면 수정 필요없음.)
   연결이 정상적으로 되면 아래처럼 Connected라고 떠.
   만일 Connect 버튼을 눌렀는데 문제가 생기면 에러 메세지에 따라 대응하자.
   
   
   
10. Styles 탭에 가서, + 버튼 눌러서 새 preset을 만든 뒤에, checkpoint, LoRA, 기본 프롬 등을 설정하고,
    Sampler settings (live)에서 원하는 설정을 하자.
    LCM 선택 시 LCM Lora가 자동 적용되는 걸로 보임. 별도로 추가하면 깨져서 나옴.
    
    
    
11. 설정이 완료되면, AI Image Generation 도커 좌측 팔레트 아이콘을 누른 뒤 Live를 선택한다.
    
    
    
12. Preset을 지정하고, 라이브 버튼을 누르면 드디어 시작!
    

생성속도

RTX4090

512x768 생성 시 30it/s 정도 나와. 6스탭 5fps 나오고 8스탭이면 4fps 조금 덜 나올 듯.

아래는 1배속에서 그린 거. 지루할 수 있어. 512x768 6steps / CFG 1.0 설정이야.

아래는 결과물.

SageMaker (T4)

T4가 3060보다 조금 느리던가?

8it/s 나오고 6steps 에서 2초 정도 갱신 돼(0.5fps). 갑갑하긴 하지만 못쓸 정도는 아니라고 봐.

결과물.

끝