(CPU로만 생성되는 속도, 배속x)
Rust로 작성, https://github.com/setzer22/llama-rs 라이브러리 사용
1. exe 다운로드 https://github.com/icepeng/llama-chan/releases/tag/0.0.0-20230322
2. ggml-alpaca-7b-q4.bin 다운로드
https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
2-1. 만약 램이 10기가 이상이라면, 13B도 돌릴 수 있음
https://gateway.estuary.tech/gw/ipfs/Qme6wyw9MzqbrUMpFNVq42rC1kSdko7MGT9CL7o1u9Cv9G
3. exe 실행하고 Open Model 누른 다음 다운받은 모델 선택
아직 UI로 파라미터 조정도 못하고 성능도 애매하지만 계속 개선할테니 많관부