https://www.reddit.com/r/LocalLLaMA/comments/139xi9l/how_can_i_try_mpt7bstorywriter/

얼마전에 발표된 MPT 7B 스토리라이터 모델이 64k 컨텍스트라죠.

저는 ggml 버전 나오면 llama.cpp로 편하게 돌릴 생각으로 

감나무 아래서 감 떨어지기만 기다리는 중이었는데 

이 모델이 로컬에서 돌리기에 상당히 빡센 모양이네요. 

댓글을 보니 코볼드AI를 통하면 일단 구동하는 건 가능하다고 합니다.

For KoboldAI its as follows:

코볼드AI는 이렇게 하면 실행됨:

Make sure your on the absolute latest release of KoboldAI United, 

offline installers are provided here (Linux users can just git clone) : https://github.com/henk717/KoboldAI/releases

코볼드AI 최신 버전 설치.

Open commandline.bat / commandline.sh and use this to execute the command "pip install einops"

commandline.bat 혹은 commandline.sh 파일 열고 "pip install einops" 입력해서 실행.

Git clone the model to our models folder.

모델을 깃클론으로 가져옴.

Launch the model with play.bat / play.sh --model nameofthefolderyougitcloned --trust_remote_code

위의 명령어로 모델 실행.

Alternatively if you like to use 0cc4m's 4-bit fork which has better model support you can also just git clone: https://github.com/0cc4m/koboldai/tree/model-structure-update and set it up with the install_requirements scripts.

이건 다른 실행방법.