(CPU로만 생성되는 속도, 배속x)


Rust로 작성, https://github.com/setzer22/llama-rs 라이브러리 사용


1. exe 다운로드 https://github.com/icepeng/llama-chan/releases/tag/0.0.0-20230322

2. ggml-alpaca-7b-q4.bin 다운로드

https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC

2-1. 만약 램이 10기가 이상이라면, 13B도 돌릴 수 있음

https://gateway.estuary.tech/gw/ipfs/Qme6wyw9MzqbrUMpFNVq42rC1kSdko7MGT9CL7o1u9Cv9G

3. exe 실행하고 Open Model 누른 다음 다운받은 모델 선택




아직 UI로 파라미터 조정도 못하고 성능도 애매하지만 계속 개선할테니 많관부