https://github.com/LostRuins/koboldcpp/releases/tag/v1.61.1

이제 koboldcpp 도 Multimodal 을 지원합니다. 

LLAVA 와 같은 모델을 llama.cpp 와 동일한 방법으로 돌릴 수 있습니다.

OpenAI 의 GPT4 Vision 호환 API 도 제공됩니다.

모델 구조에 맞는 mmproj GGUF 를 설정하면, LLAVA 가 아니라도 Vision 기능이 동작합니다.

https://huggingface.co/koboldcpp/mmproj/tree/main

오류: 원본인 llama.cpp 에서 코드 리팩토링으로 수정된 부분이 ggml-metal.metal 에서 오류를 만들었습니다.

https://github.com/ggerganov/llama.cpp/issues/5977

이 영향으로 llama.cpp 에서 파생된 koboldcpp 도 애플 실리콘 (M1, M2, M3) 에서 같은 오류가 발생합니다.

오류를 우회하는 방법은 위 이슈 5977 의 댓글에 나와있는 것 처럼, 원래 실행될 때 실시간으로 컴파일되던 ggml-metal.metal 을 사전에 컴파일하여 default.metallib 를 만드는 것입니다.

xcrun -sdk macosx metal    -O3 -c ggml-metal.metal -o ggml-metal.air

xcrun -sdk macosx metallib        ggml-metal.air   -o default.metallib