https://github.com/LostRuins/koboldcpp/releases

제목과 같이 자동좌의 webui API 와 호환되는 API 를 제공, 그림 생성이 가능해졌음

특이한 점이 있다면, stable-diffusion.cpp(https://github.com/leejet/stable-diffusion.cpp) 라는 것으로 그림을 생성함

civitiai 같은데서 그림 모델 받아서, 저 stable-diffusion.cpp 를 써서 gguf 로 양자화된 이미지 모델 파일을 koboldcpp 에 붙인 stable-diffusion.cpp 코드가 돌아서 이미지를 생성함. gguf 가 whisper.cpp 와 llama.cpp 말고 다른 쪽으로 쓰이는 건 이걸로 처음 봄

써보니 나쁘지는 않은데 adetailer 같은 걸 쓸 수 없고, 아직까지 upscaler 를 1가지만 쓸 수 있는건 단점인데, 이런 부분들은 시간이 지나면 나아질 가능성이 있는 부분이고, lcm 샘플러 지원하고 lcm lora 도 지원한다고 하는데 내가 직접 해볼때는 시커먼 그림만 나왔음

근데, 보통 내 컴에서 llm 직접 돌릴 때는 최대한 context length 확보하려고 있는 VRAM 다 쑤셔넣는데, 물론 SD 1.5 기준 VRAM 한 3GB 정도 필요하다고 하지만(양자화로 비트 많이 깎으면 줄어들기는 함), 그거 빼서 그림 생성 모델을 돌리는건 VRAM 48GB 인 나도 이거 굳이 할 필요있나 라는 생각이 드는데, 보통 16GB 도 안되는 GPU 쓰는 갤럼들에게는 더더욱 안땡기지 싶음

여하튼 내 컴에서 직접 llm 돌리는 물건에 기능이 추가되어 소개함